A discussão sobre o alinhamento da Inteligência Artificial Superinteligente (ASI) está no centro das preocupações de segurança e ética no campo da IA. Para enfrentar esse desafio complexo, o AI Alignment Forum aponta a urgência de uma teoria de agentes mais abrangente e precisa. Essa teoria é fundamental tanto para entender as ameaças potenciais quanto para construir as soluções necessárias.
Um agente, nesse contexto, é informalmente definido como um sistema que recebe observações, gera ações e é eficaz em direcionar seu ambiente conforme preferências específicas, adaptando-se a uma vasta gama de cenários. Para isso, ele precisa construir um modelo sofisticado do ambiente, criar planos de longo prazo, e continuamente atualizar esse modelo e revisar seus planos, tudo isso com eficiência estatística e computacional. Exemplos claros de agentes incluem humanos, a ASI desalinhada que se busca evitar e a ASI alinhada que se pretende criar. Organismos mais simples, como bactérias ou termostatos, não se encaixam, pois sua capacidade de adaptação é muito limitada.
A Necessidade de uma Teoria Descritiva
A teoria de agentes que precisamos deve ser, acima de tudo, descritiva. Isso significa que ela deve ser aplicável a todos os principais exemplos de agentes, atribuindo-lhes preferências, crenças e outros atributos relevantes para o alinhamento. Essas atribuições devem ser fundamentadas na solidez filosófica geral da teoria, e não em conhecimentos específicos de domínio, que seriam insuficientes dada a hipercomplexidade dos sistemas de IA avançados. A ideia é que essa teoria seja universalmente útil, mesmo para uma civilização alienígena ou uma IA que precise alinhar seus próprios sucessores.
Essa abordagem descritiva visa esclarecer questões filosóficas complexas, como a natureza das preferências humanas. Embora a teoria não precise fornecer respostas óbvias para todas as nuances do cérebro humano, ela deve, em princípio, permitir que se responda a essas perguntas se todos os fatos pertinentes sobre o mundo físico fossem conhecidos. A dificuldade em inferir a resposta seria similar à de explicar fenômenos físicos emergentes, mesmo conhecendo as leis fundamentais.
Lidando com a Ambiguidade Inevitável
A descritividade não exige que conceitos como “preferências humanas” sejam perfeitamente inequívocos. O que é crucial é que qualquer ambiguidade não leve a erros críticos, especialmente quando se considera a “Maldição de Goodhart” – a tendência de uma métrica deixar de ser útil quando se torna um alvo. O problema do alinhamento é fundamentalmente normativo, ou seja, ele se baseia em preferirmos certos futuros da IA em detrimento de outros. Quando a resolução de nossas preferências se torna indefinida, a escolha entre opções se torna irrelevante, pois nossas preferências são a única força motriz para distinguir essas escolhas. Qualquer imprecisão inevitável é, portanto, tolerável.
Por exemplo, se uma pessoa prefere maçãs aproximadamente três vezes mais que bananas, mas não há uma resposta exata se é 2,99 ou 3,01 vezes, não importa se a IA alinhada interpreta a preferência como um ou outro. Ambos os resultados são aceitáveis. No formalismo matemático, essa ambiguidade pode se manifestar de forma semelhante à escolha de uma Máquina de Turing Universal na indução de Solomonoff, onde diferentes máquinas correspondem a priors que diferem apenas por uma constante multiplicativa. Nesses casos, uma escolha razoável seria qualquer máquina que seja intuitivamente considerada “simples” ou “natural”.
O que isso muda para você
Para profissionais brasileiros que atuam com IA, a discussão sobre a teoria de agentes do AI Alignment Forum ressalta a importância de ir além da implementação técnica. Compreender a natureza dos sistemas que estamos construindo – e como eles interagem com o mundo e com nossas intenções – é crucial para o desenvolvimento responsável. Isso significa que, ao projetar ou integrar soluções de IA, é preciso considerar não apenas a funcionalidade, mas também as implicações de longo prazo das “preferências” e “modelos de mundo” que a IA pode desenvolver.
Essa perspectiva exige uma mentalidade mais filosófica e ética no dia a dia do trabalho com IA. Não basta apenas otimizar algoritmos; é preciso questionar como esses algoritmos interpretam e agem sobre as informações, e se suas ações estão verdadeiramente alinhadas com os valores humanos. Comece a incorporar discussões sobre os “desejos” e “crenças” implícitas de seus modelos de IA em suas equipes, mesmo que de forma conceitual, para fomentar uma cultura de alinhamento desde as fases iniciais do projeto.

