Agentes de IA✦ Gerado por IA

Busca por Palavras-Chave Supera Modelo de Embedding em Seleção de Ferramentas para Agentes de IA

Uma pesquisa recente revela que a busca por palavras-chave, uma tecnologia dos anos 90, igualou o desempenho de um modelo de embedding de 8 bilhões de parâmetros na seleção de ferramentas para agentes de IA. O estudo destaca a importância da documentação completa das ferramentas e a eficiência de métodos mais simples diante de um número crescente de opções.

Edição de ·Towards Data Science·6 min de leitura·
CompartilharWhatsAppXLinkedInFacebook
💡

Principal Aprendizado

A busca por palavras-chave, como o BM25, pode ser tão eficaz e muito mais rápida que modelos de embedding avançados na seleção de ferramentas para agentes de IA, especialmente quando a documentação das ferramentas é completa.

No universo em rápida expansão da Inteligência Artificial, a capacidade de um agente de IA selecionar a ferramenta certa entre milhares de opções é crucial. Uma nova pesquisa, publicada pela Towards Data Science, trouxe à tona um resultado surpreendente: a busca por palavras-chave, utilizando o algoritmo BM25, demonstrou ser tão eficaz quanto um modelo de embedding de 8 bilhões de parâmetros na tarefa de identificar a ferramenta correta para um agente de IA.

O estudo analisou 200 questões do benchmark ToolRet, com um conjunto de ferramentas que variava de 1.000 a 3.794. O objetivo era entender como diferentes métodos de recuperação de ferramentas se comportam à medida que o "monte" de opções cresce. O que se observou é que, independentemente do método, o desempenho geral diminuiu em cerca de um quinto à medida que mais ferramentas eram adicionadas. No entanto, a busca por palavras-chave não apenas manteve o ritmo de um modelo de embedding 24 vezes maior, mas também operou centenas de vezes mais rápido, rodando em uma CPU.

O Desafio da Seleção de Ferramentas em Agentes de IA

Com a facilidade de instalação de ferramentas para agentes de IA, é comum que um único agente tenha acesso a centenas, ou até milhares, delas. A questão central é: como o agente decide qual ferramenta usar para uma determinada tarefa? A prática comum é incluir todas as ferramentas no prompt enquanto o espaço permite, e depois mudar para um sistema de recuperação. A pesquisa da Towards Data Science investigou justamente o que acontece após essa transição, e se a recuperação se mantém eficaz com o aumento exponencial de ferramentas.

O experimento utilizou a categoria "código" do ToolRet, que contém 3.794 ferramentas. As 200 questões do teste exigiam 186 ferramentas diferentes, que estavam presentes em todas as pilhas de ferramentas, enquanto o restante era preenchimento. Isso permitiu que os pesquisadores observassem o impacto direto do aumento de ferramentas "erradas" no desempenho dos métodos de recuperação. A métrica principal foi o nDCG@10, que avalia a relevância das ferramentas encontradas nas dez primeiras posições, além de Recall@10 (se a ferramenta certa estava entre as dez primeiras) e Completeness@10 (se todas as ferramentas necessárias foram encontradas).

O Impacto da Documentação Completa e a Limitação dos Prompts

Um dos achados mais significativos da pesquisa foi que a mudança que mais ajudou na precisão da recuperação de ferramentas, superando até mesmo o uso de um modelo maior, foi simplesmente fornecer ao sistema de recuperação a documentação completa da ferramenta, em vez de um resumo de uma linha. Isso sugere que a qualidade e a riqueza das informações sobre as ferramentas são mais importantes do que a complexidade do modelo de recuperação em si.

Além disso, o estudo demonstrou as limitações de simplesmente colocar todas as ferramentas no prompt do modelo. Com 1.000 ferramentas, o prompt já atingia 53.160 tokens, levando 215 segundos apenas para ser lido por um modelo Gemma 3 12B. Com 3.794 ferramentas, mesmo com descrições resumidas, o prompt chegava a 198.000 tokens, excedendo a janela de contexto da maioria dos modelos disponíveis. Modelos hospedados com janelas de contexto maiores podem acomodar isso, mas a um custo significativo por consulta. Isso reforça a necessidade de estratégias eficientes de recuperação de ferramentas quando o número de opções se torna grande.

O que isso muda para você

Para profissionais brasileiros que trabalham com desenvolvimento e implementação de agentes de IA, esta pesquisa oferece insights valiosos. Em vez de focar apenas em modelos de embedding cada vez maiores e mais caros, considere otimizar a qualidade da documentação das ferramentas que seus agentes utilizam. Um bom sistema de busca por palavras-chave, alimentado por descrições completas e claras, pode ser uma solução mais eficiente e econômica.

Isso significa que investir tempo na criação de documentação detalhada e bem estruturada para cada ferramenta pode trazer retornos maiores do que a busca incessante pelo modelo de IA mais avançado para a tarefa de seleção. Avalie a possibilidade de implementar um sistema de recuperação baseado em palavras-chave como o BM25, especialmente se você lida com um grande volume de ferramentas e busca otimizar custos e tempo de processamento. O próximo passo concreto é revisar a forma como suas ferramentas são descritas e documentadas, priorizando a clareza e a completude das informações.

📰 Com base em reportagem de Towards Data Science. Texto produzido com apoio de inteligência artificial, com curadoria e edição de Robson Benfica Conceição, com análise própria do que a notícia muda para quem trabalha no Brasil. Veja como produzimos.

📬 Newsletter Gratuita

As principais notícias de IA do dia, curadas por Robson Conceição. Grátis, todo dia no seu e-mail.

Gostou do conteúdo?

Compartilhe com quem também quer entender IA no trabalho.

CompartilharWhatsAppXLinkedInFacebook

Leia também