Poucos dias depois de Sam Altman ter sido recontratado como CEO da OpenAI, foi anunciado que um novo conselho seria constituído. Cerca de três semanas depois, na segunda-feira (18 de dezembro), a empresa apresentou uma estrutura para abordar a segurança em seus modelos mais avançados, inclusive permitindo que o conselho revertesse as decisões de segurança.
Isto significa que qualquer modelo, como o muito divulgado Projecto Q*, que possa ser visto como potencialmente prejudicial para a humanidade, pode ser arquivado pelo poder de veto do conselho.
“Precisamos abordar a segurança da IA a partir dos primeiros princípios, usando a própria IA para resolver desafios de segurança da IA e construir soluções gerais para categorias de problemas”, disse a empresa.
A empresa apoiada pela Microsoft disse que implantará sua tecnologia mais recente somente se for considerada segura em áreas específicas, como segurança cibernética e ameaças nucleares.
Equipe de sistemas de segurança da OpenAI
A empresa também está criando um grupo consultivo, denominado equipe de Sistemas de Segurança, que analisará os relatórios de segurança e os enviará aos executivos e à diretoria da empresa. Embora os executivos tomem decisões, o conselho pode reverter essas decisões.
“A equipe de Sistemas de Segurança está dedicada a garantir a segurança, robustez e confiabilidade dos modelos de IA e sua implantação no mundo real”, acrescentou OpenAI.
Sistemas de Segurança consiste em quatro subequipes
OpenAI disse que esta equipe principal terá quatro subequipes que incluem especialistas em engenharia, pesquisa, política, colaboração humano-IA e gerenciamento de produtos.
Engenharia segura: A equipe implementa mitigação em nível de sistema em produtos, constrói uma infra-estrutura de serviço de segurança centralizada, segura e com reconhecimento de privacidade e cria ferramentas centradas em ML para investigação e fiscalização em escala.
Pesquisa de segurança modelo: Esta equipe irá aprimorar os recursos da OpenAI para implementar com precisão um comportamento robusto e seguro em nossos modelos.
Pesquisa de raciocínio de segurança: Essa equipe detectará e compreenderá os riscos, tanto conhecidos quanto desconhecidos, para orientar o projeto de comportamento e mitigações padrão do modelo seguro. Ele trabalhará em direção ao objetivo, incorporando melhores habilidades de segurança e raciocínio ético no modelo básico.
Interação Humano-IA: Finalmente, esta equipa cuidará da política que é a “interface para alinhar o comportamento do modelo com os valores humanos desejados e concebemos políticas em conjunto com modelos e para modelos, e assim as políticas podem ser directamente ligadas aos nossos sistemas de segurança”.
(Com contribuições da agência)
FacebookTwitterLinkedin
fim do artigo