No universo em rápida expansão da Inteligência Artificial, a capacidade de um agente de IA selecionar a ferramenta certa entre milhares de opções é crucial. Uma nova pesquisa, publicada pela Towards Data Science, trouxe à tona um resultado surpreendente: a busca por palavras-chave, utilizando o algoritmo BM25, demonstrou ser tão eficaz quanto um modelo de embedding de 8 bilhões de parâmetros na tarefa de identificar a ferramenta correta para um agente de IA.
O estudo analisou 200 questões do benchmark ToolRet, com um conjunto de ferramentas que variava de 1.000 a 3.794. O objetivo era entender como diferentes métodos de recuperação de ferramentas se comportam à medida que o "monte" de opções cresce. O que se observou é que, independentemente do método, o desempenho geral diminuiu em cerca de um quinto à medida que mais ferramentas eram adicionadas. No entanto, a busca por palavras-chave não apenas manteve o ritmo de um modelo de embedding 24 vezes maior, mas também operou centenas de vezes mais rápido, rodando em uma CPU.
O Desafio da Seleção de Ferramentas em Agentes de IA
Com a facilidade de instalação de ferramentas para agentes de IA, é comum que um único agente tenha acesso a centenas, ou até milhares, delas. A questão central é: como o agente decide qual ferramenta usar para uma determinada tarefa? A prática comum é incluir todas as ferramentas no prompt enquanto o espaço permite, e depois mudar para um sistema de recuperação. A pesquisa da Towards Data Science investigou justamente o que acontece após essa transição, e se a recuperação se mantém eficaz com o aumento exponencial de ferramentas.
O experimento utilizou a categoria "código" do ToolRet, que contém 3.794 ferramentas. As 200 questões do teste exigiam 186 ferramentas diferentes, que estavam presentes em todas as pilhas de ferramentas, enquanto o restante era preenchimento. Isso permitiu que os pesquisadores observassem o impacto direto do aumento de ferramentas "erradas" no desempenho dos métodos de recuperação. A métrica principal foi o nDCG@10, que avalia a relevância das ferramentas encontradas nas dez primeiras posições, além de Recall@10 (se a ferramenta certa estava entre as dez primeiras) e Completeness@10 (se todas as ferramentas necessárias foram encontradas).
O Impacto da Documentação Completa e a Limitação dos Prompts
Um dos achados mais significativos da pesquisa foi que a mudança que mais ajudou na precisão da recuperação de ferramentas, superando até mesmo o uso de um modelo maior, foi simplesmente fornecer ao sistema de recuperação a documentação completa da ferramenta, em vez de um resumo de uma linha. Isso sugere que a qualidade e a riqueza das informações sobre as ferramentas são mais importantes do que a complexidade do modelo de recuperação em si.
Além disso, o estudo demonstrou as limitações de simplesmente colocar todas as ferramentas no prompt do modelo. Com 1.000 ferramentas, o prompt já atingia 53.160 tokens, levando 215 segundos apenas para ser lido por um modelo Gemma 3 12B. Com 3.794 ferramentas, mesmo com descrições resumidas, o prompt chegava a 198.000 tokens, excedendo a janela de contexto da maioria dos modelos disponíveis. Modelos hospedados com janelas de contexto maiores podem acomodar isso, mas a um custo significativo por consulta. Isso reforça a necessidade de estratégias eficientes de recuperação de ferramentas quando o número de opções se torna grande.
O que isso muda para você
Para profissionais brasileiros que trabalham com desenvolvimento e implementação de agentes de IA, esta pesquisa oferece insights valiosos. Em vez de focar apenas em modelos de embedding cada vez maiores e mais caros, considere otimizar a qualidade da documentação das ferramentas que seus agentes utilizam. Um bom sistema de busca por palavras-chave, alimentado por descrições completas e claras, pode ser uma solução mais eficiente e econômica.
Isso significa que investir tempo na criação de documentação detalhada e bem estruturada para cada ferramenta pode trazer retornos maiores do que a busca incessante pelo modelo de IA mais avançado para a tarefa de seleção. Avalie a possibilidade de implementar um sistema de recuperação baseado em palavras-chave como o BM25, especialmente se você lida com um grande volume de ferramentas e busca otimizar custos e tempo de processamento. O próximo passo concreto é revisar a forma como suas ferramentas são descritas e documentadas, priorizando a clareza e a completude das informações.
