Segurança em IA✦ Gerado por IA

Como ensinar inteligência artificial a aceitar correções humanas

Uma nova perspectiva sobre a corrigibilidade em Inteligência Artificial está sendo proposta, buscando resolver a confusão em torno de sua definição. A ideia central é garantir que a IA respeite a autoridade humana, agindo em nosso benefício sem ultrapassar limites pré-definidos.

Edição de ·AI Alignment Forum·6 min de leitura·
CompartilharWhatsAppXLinkedInFacebook
💡

Principal Aprendizado

A corrigibilidade em IA deve ser definida pelo respeito à autoridade humana, com a IA agindo em nosso benefício sem ultrapassar limites pré-definidos.

A corrigibilidade, conceito fundamental para o alinhamento de IA, tem sido um ponto de discórdia e confusão entre os especialistas. As definições existentes frequentemente falham, seja por focar demais na incerteza da IA sobre seus objetivos (abordagens "over-epistemicized") ou por vincular a corrigibilidade a um único objetivo normativo da máquina (abordagens "evaluatively-thickened"). Essa falta de clareza impede a criação de garantias formais de segurança, essenciais para o desenvolvimento de sistemas de IA robustos e confiáveis.

O AI Alignment Forum apresenta agora uma nova visão que busca sanar essas deficiências. A proposta é construir sobre as definições anteriores, mas com um foco mais claro e alinhado aos desejos originais de 2015 para a corrigibilidade. A analogia usada é a de um procurador de saúde em relação a um paciente, onde o procurador age em nome do paciente, mas sempre respeitando sua autonomia e desejos.

O Respeito à Autoridade Humana como Pilar

O cerne da nova abordagem é o "respeito pela autoridade". Isso significa que a corrigibilidade de uma IA deve ser definida primeiramente pela sua capacidade de não interferir ou ultrapassar os "poderes reservados" da humanidade. Em outras palavras, a IA deve ter restrições claras para não invadir áreas de decisão que são exclusivas dos humanos. Somente após garantir essa restrição fundamental, a IA pode então perseguir seu segundo objetivo: agir em nome do principal (a humanidade), da forma que o principal julgaria ser a melhor.

Essa perspectiva enfatiza o caráter profundamente normativo da corrigibilidade, ao mesmo tempo em que oferece uma base concreta para sua formalização. O objetivo é criar um arcabouço que permita provar garantias de segurança em ambientes formais, desde os mais simples até os mais realistas. A ideia é que a IA, mesmo sendo altamente inteligente, compreenda e respeite os limites impostos pela autoridade humana, operando dentro de um quadro ético e prático que priorize o bem-estar e a autonomia dos seres humanos.

Desafios da Aprendizagem Normativa Completa

O problema da aprendizagem normativa completa é um dos maiores desafios no design de IAs poderosas. Ele envolve determinar quais objetivos a IA deve perseguir e como ela deve avaliar o mundo e agir. A meta ideal seria que a IA descobrisse e buscasse o "Bem", um objetivo que abranja os melhores interesses universais e que só pode ser alcançado através da aprendizagem normativa. No entanto, descrever um sistema que possa aprender e perseguir tal objetivo é a essência do problema de "outer alignment": qual seria o melhor objetivo geral para uma IA?

Este problema é complexo, pois esbarra nas questões mais profundas da ética, valores e interesses humanos. Formalizar a rica verdade da normatividade humana é particularmente difícil, pois ela resiste a uma sistematização completa em termos de recomendações individuais de ação. Uma formulação mais clara do objetivo geral é necessária para qualquer esperança de concretude. Uma primeira tentativa poderia ser "a promoção do florescimento humano geral", mas mesmo esse conceito "espesso" precisa ser definido com cuidado. Os interesses, sentimentos e vidas internas dos seres humanos devem ser o ingrediente mais importante na consideração da IA, mas não se deve usar a opinião humana de forma simplista como um substituto para os melhores interesses humanos. A humanidade nem sempre compreende seus próprios melhores interesses, e os interesses daqueles que não podem falar por si mesmos também devem ser incluídos no objetivo.

O feedback humano, como o usado no Aprendizado por Reforço a partir de Feedback Humano (RLHF), não pode ser a única fonte de verdade para construir um objetivo normativo completo. O RLHF pode captar imperfeições humanas, como o "efeito do juiz faminto", onde a clemência judicial varia com as refeições. Uma IA ideal deveria transcender essas limitações humanas, sem descartar a essência humana do sistema legal. Ela deveria estar imersa nas práticas normativas de julgamento, compreendendo conceitos humanos e estendendo-os a novos casos. Portanto, uma formulação melhor do objetivo envolveria uma versão idealizada do julgamento da humanidade, refletindo como nós, humanos, raciocinamos sobre nossos próprios melhores interesses, como no exemplo de um fumante que, apesar do desejo imediato, reconhece os custos de saúde a longo prazo.

O que isso muda para você

Para profissionais brasileiros que atuam com IA, essa nova abordagem da corrigibilidade traz uma clareza crucial. Ela sinaliza que o futuro da IA segura e alinhada não está apenas em otimizar tarefas, mas em construir sistemas que entendam e respeitem os limites da autonomia humana. Isso significa que, ao desenvolver ou implementar soluções de IA, a prioridade deve ser a incorporação de mecanismos que garantam que a máquina não tome decisões que deveriam ser prerrogativa humana, ou que não interfira em domínios sensíveis sem permissão explícita.

No mercado de trabalho, a demanda por especialistas capazes de projetar e auditar IAs com essa "corrigibilidade normativa" deve crescer. Profissionais que compreendem não apenas os aspectos técnicos, mas também as implicações éticas e normativas do alinhamento de IA, terão uma vantagem competitiva. O próximo passo concreto é começar a integrar essa mentalidade de "respeito à autoridade" nos projetos de IA, questionando como as decisões da máquina podem ser restritas para preservar a soberania humana e como podemos formalizar essas restrições em nossos sistemas.

📰 Com base em reportagem de AI Alignment Forum. Texto produzido com apoio de inteligência artificial, com curadoria e edição de Robson Benfica Conceição, com análise própria do que a notícia muda para quem trabalha no Brasil. Veja como produzimos.

📬 Newsletter Gratuita

As principais notícias de IA do dia, curadas por Robson Conceição. Grátis, todo dia no seu e-mail.

Gostou do conteúdo?

Compartilhe com quem também quer entender IA no trabalho.

CompartilharWhatsAppXLinkedInFacebook

Leia também