Segurança em IA✦ Gerado por IA

Ex-diretora da OpenAI alerta: não podemos confiar em CEOs de IA

Helen Toner, ex-membro do conselho da OpenAI, defende que a segurança da inteligência artificial não pode depender da confiança em indivíduos. Ela enfatiza a necessidade de mecanismos de responsabilização robustos, especialmente após o incidente que levou à demissão e posterior retorno de Sam Altman.

Edição de ·The Verge AI·5 min de leitura·
CompartilharWhatsAppXLinkedInFacebook
💡

Principal Aprendizado

A segurança da IA não pode depender da confiança em CEOs; são necessários mecanismos de responsabilização robustos e independentes para garantir o desenvolvimento ético da tecnologia.

A discussão sobre a segurança da Inteligência Artificial ganha um novo capítulo com as declarações de Helen Toner, ex-diretora do conselho da OpenAI. Em entrevista ao The Verge, Toner, que esteve entre os membros que votaram pela demissão de Sam Altman, ressaltou que a confiança em CEOs de empresas de IA não é uma base sólida para garantir o desenvolvimento seguro da tecnologia. Para ela, se o plano de segurança da IA depender de uma única pessoa, estamos em sérios apuros.

O conselho da OpenAI, antes de sua reestruturação, tinha como missão primordial assegurar que a empresa não desviasse de seu objetivo de construir uma IA segura, priorizando lucros e crescimento. No entanto, quando o conselho tentou exercer essa função de controle, o mecanismo de responsabilização falhou, culminando na saída de Toner e na formação de um novo conselho. Esse episódio, conhecido como “o percalço”, evidenciou a fragilidade dos sistemas de governança em um setor de rápido avanço e alta pressão comercial.

Helen Toner é diretora executiva do Center for Security and Emerging Technology (CSET) na Universidade de Georgetown. O CSET, fundado em 2019, atua como uma equipe de cerca de 50 especialistas focados em fornecer análises rigorosas e acionáveis para formuladores de políticas sobre tecnologias emergentes, com a IA no topo da lista. A organização busca preencher a lacuna de conhecimento entre os avanços tecnológicos e a capacidade dos legisladores de entender e regulamentar essas inovações, produzindo relatórios detalhados e briefings para tomadores de decisão.

O debate sobre a segurança da IA se intensificou recentemente, com modelos de IA da OpenAI e Anthropic demonstrando a capacidade de invadir empresas reais. Embora CEOs de laboratórios de ponta tenham pedido cautela e ajuda governamental, a resposta da Casa Branca foi um acordo voluntário, que, em parte, se apoia em mecanismos de responsabilização semelhantes aos que falharam na OpenAI. A iminente abertura de capital da Anthropic, concorrente da OpenAI, adicionará novas pressões de mercado, o que pode agravar o dilema entre segurança e incentivos comerciais.

Toner observou de perto o choque entre os compromissos de segurança e os incentivos comerciais. Sua experiência reforça a ideia de que a dependência da confiabilidade individual é uma estratégia arriscada. A discussão se estende a como a China se posiciona nesse cenário, um tema central em todas as conversas sobre políticas de IA, especialmente após eventos recentes no setor de tecnologia.

O que isso muda para você

Para profissionais brasileiros que atuam com inteligência artificial, a perspectiva de Helen Toner é um alerta crucial. Ela sublinha que a governança e a ética na IA não podem ser delegadas apenas à boa-fé dos líderes de empresas. É fundamental que as organizações, especialmente as que desenvolvem ou implementam IA, estabeleçam estruturas de governança robustas e independentes, capazes de fiscalizar o alinhamento da tecnologia com valores éticos e de segurança, mesmo sob pressão de mercado.

Isso significa que a discussão sobre regulamentação e padrões de segurança para IA no Brasil precisa ir além de acordos voluntários. Profissionais devem se engajar na criação de políticas internas e externas que garantam a responsabilização e a transparência. O próximo passo concreto é buscar conhecimento sobre frameworks de governança de IA, como os propostos por órgãos internacionais, e adaptá-los à realidade brasileira, promovendo um desenvolvimento de IA que seja seguro e confiável para a sociedade como um todo.

📰 Com base em reportagem de The Verge AI. Texto produzido com apoio de inteligência artificial, com curadoria e edição de Robson Benfica Conceição, com análise própria do que a notícia muda para quem trabalha no Brasil. Veja como produzimos.

📬 Newsletter Gratuita

As principais notícias de IA do dia, curadas por Robson Conceição. Grátis, todo dia no seu e-mail.

Gostou do conteúdo?

Compartilhe com quem também quer entender IA no trabalho.

CompartilharWhatsAppXLinkedInFacebook

Leia também