Segurança em IA✦ Gerado por IA

Uber cria estrutura de segurança para agentes de IA autônomos

A Uber desenvolveu um framework robusto para proteger seus agentes de IA autônomos, abordando riscos como injeção de prompt e alucinações. A iniciativa visa garantir que as ações dos agentes sejam sempre apropriadas e seguras, desde o registro até a operação contínua.

Edição de ·InfoQ AI·6 min de leitura·
CompartilharWhatsAppXLinkedInFacebook
💡

Principal Aprendizado

A Uber desenvolveu um framework de segurança de IA de três camadas para governar agentes autônomos, focando em autorização comportamental e políticas específicas por agente para mitigar riscos.

A Uber, gigante do transporte e tecnologia, está na vanguarda da segurança de Inteligência Artificial com o lançamento de uma estrutura inovadora. O objetivo é governar agentes de IA autônomos, que interagem dinamicamente com conteúdo externo e realizam ações no mundo real, superando as limitações dos controles de identidade e API tradicionais.

Sistemas convencionais de identidade e autorização conseguem determinar se um usuário ou serviço tem permissão para acessar um recurso. No entanto, eles falham em avaliar se uma ação proposta por um agente de IA é apropriada dentro de um contexto específico. Essa lacuna abre portas para diversos riscos, como injeção de prompt, envenenamento de ferramentas e memória, sequestro de objetivos, desvio comportamental e ações impulsionadas por alucinações. Para combater esses perigos, a Uber criou um framework de três camadas que abrange todo o ciclo de vida do agente de IA.

Proteção em Três Camadas: Do Registro à Operação

O framework da Uber atua em três fases cruciais: pré-implantação, execução e pós-implantação. Na fase de provisionamento, antes mesmo de um agente ser implantado, ele precisa ser registrado no Uber AI Registry. Este registro estabelece sua identidade, propriedade, persona, intenções permitidas, restrições, dependências e classificação de risco. Esse processo é automatizado pelo Argus, uma ferramenta que analisa o código-fonte do agente, prompts, configurações, dependências, endpoints expostos e caminhos de invocação de ferramentas para identificar vulnerabilidades de segurança. A mesma abordagem rigorosa é aplicada a servidores MCP e ferramentas utilizadas pelos agentes.

Durante a execução, o framework expande o modelo de segurança tradicional, que inclui administração, decisão e aplicação de políticas. Ele incorpora a autorização comportamental, que avalia se as ações de um agente são adequadas ao contexto. Isso é feito por três componentes: o AI Registry, que define as políticas dos agentes; os AI Guards, que avaliam interações e ações propostas; e os Agent Guard runtime hooks, que invocam os AI Guards em pontos críticos para aplicar seus veredictos antes que uma ação seja permitida.

Após a implantação, o foco se volta para a Garantia Contínua. Esta camada utiliza observabilidade de ponta a ponta, auditoria, explicabilidade e capacidade de replay. Ela é composta por um rastreamento de execução unificado, que conecta ações do agente, chamadas de ferramentas e decisões de segurança, e por interações gravadas que podem ser reproduzidas. Isso permite avaliar a eficácia das políticas e guardrails sempre que são atualizados, garantindo que a segurança se mantenha robusta em novos contextos.

Desafios e o Valor das Restrições Explícitas

A Uber enfrentou desafios significativos na implementação desses controles de segurança em produção. Equilibrar a restrição das políticas para evitar falsos positivos excessivos e, ao mesmo tempo, garantir proteção suficiente foi um deles. Minimizar a latência em tempo de execução e reduzir o atrito para os desenvolvedores durante a configuração do framework também foram pontos importantes. A empresa percebeu que ir além de controles genéricos, criando políticas específicas para cada agente, tornava a aplicação mais contextual e precisa.

Especialistas da área comentaram a abordagem da Uber. Tristan G., oficial sênior de TI da ONU, destacou que, embora as “personas, intenções, restrições e calibração por agente” agreguem muito valor, o custo é alto, pois o esforço aumenta com o número de fluxos de trabalho. Ele também observou que o controle mais forte, a restrição de agentes a restrições explícitas, é uma aplicação do princípio do menor privilégio, e não uma ideia nova. A questão em aberto, para ele, é como isso funcionaria para agentes de terceiros, onde não é possível inserir os próprios hooks de aplicação.

Pratik Dhanave, arquiteto de IA, reforçou essa visão, afirmando que a lição menos glamorosa, mas mais eficaz, foi a definição de intenções e restrições explícitas por agente. Isso superou as abordagens de limites genéricos, que falharam porque cada agente tem um propósito e perfil de risco diferentes. A Uber concluiu que a perda de flexibilidade é um preço que vale a pena pagar pela segurança. O framework de IA segura da Uber continua em evolução, com planos de expandir suas capacidades em todas as áreas mencionadas, mostrando um compromisso contínuo com a segurança na era dos agentes autônomos.

O que isso muda para você

Para profissionais brasileiros que trabalham com IA, a iniciativa da Uber é um farol importante. Ela demonstra que a segurança não é um adendo, mas um pilar fundamental no desenvolvimento e implantação de agentes de IA, especialmente aqueles que interagem com o mundo real. A ênfase em políticas específicas por agente e a autorização comportamental são lições valiosas para qualquer empresa que esteja construindo ou utilizando sistemas de IA mais autônomos.

Isso significa que, ao planejar seus projetos de IA, você deve considerar a segurança desde o início, não como uma etapa final. Pense em como registrará seus agentes, definirá suas permissões e monitorará suas ações em tempo real. O próximo passo concreto é começar a mapear os riscos específicos de cada agente de IA que sua equipe desenvolve ou utiliza, e explorar como implementar controles de segurança que sejam contextuais e precisos, em vez de genéricos. A segurança da IA é um campo em crescimento, e estar à frente nessa curva pode ser um diferencial competitivo significativo no mercado brasileiro.

📰 Com base em reportagem de InfoQ AI. Texto produzido com apoio de inteligência artificial, com curadoria e edição de Robson Benfica Conceição, com análise própria do que a notícia muda para quem trabalha no Brasil. Veja como produzimos.

📬 Newsletter Gratuita

As principais notícias de IA do dia, curadas por Robson Conceição. Grátis, todo dia no seu e-mail.

Gostou do conteúdo?

Compartilhe com quem também quer entender IA no trabalho.

CompartilharWhatsAppXLinkedInFacebook

Leia também