A JioHotstar, uma empresa de tecnologia, conduziu um estudo detalhado para entender como os agentes de inteligência artificial podem navegar de forma mais eficaz em grandes bases de código. A pesquisa avaliou seis métodos distintos de recuperação de informações, buscando otimizar o desempenho desses agentes em tarefas de programação.
O estudo revelou que não existe uma solução única para todas as situações. Para tarefas de engenharia bem definidas e estruturadas, a busca de código baseada em sua estrutura se mostrou bastante eficiente. Por outro lado, quando os requisitos eram mais ambíguos ou exigiam uma interpretação mais profunda, a recuperação semântica de informações ofereceu melhores resultados. Curiosamente, a adição de camadas de recuperação nem sempre resultou em melhoria na conclusão das tarefas ou na redução do consumo de tokens, indicando que mais nem sempre é melhor.
Detalhes da Avaliação e Ferramentas
Abhishek Bansal, engenheiro sênior da JioHotstar, liderou a comparação de diversas ferramentas e abordagens. Entre elas estavam ferramentas de sistema de arquivos, Sourcebot, Graphify, CocoIndex Code, Repowise e um pipeline interno de Geração Aumentada por Recuperação (RAG). A equipe utilizou subconjuntos dos benchmarks SWE-bench e CodeScaleBench, além de um sistema de perguntas e respostas personalizado para a base de código da própria JioHotstar. O modelo de IA utilizado para resolver as tarefas foi o Claude Sonnet, e as métricas avaliadas incluíram precisão da tarefa, consumo de tokens, número de interações do agente e usabilidade da ferramenta.
Os resultados mostraram que a abordagem de sistema de arquivos, que utiliza repositórios locais e operações padrão de busca e leitura de arquivos, manteve-se competitiva em tarefas concretas. O Sourcebot, que oferece busca de texto indexada, definições de símbolos e referências, superou a linha de base em tarefas mais complexas do SWE-bench Verified, com um custo menor. No entanto, em tarefas mais simples do SWE-bench Lite, a recuperação de informações muitas vezes adicionou uma sobrecarga sem trazer melhorias consistentes. O CodeScaleBench, por sua vez, evidenciou que a recuperação semântica era mais útil quando os agentes precisavam interpretar descrições de problemas ambíguas e mapeá-las para detalhes de implementação que não eram óbvios em buscas textuais ou de símbolos exatas. Isso reforça a ideia de que as abordagens de recuperação devem ser escolhidas de acordo com as características da tarefa.
A Importância do Design da Ferramenta e Contexto Ampliado
A pesquisa também sublinhou a relevância do design das ferramentas. Os agentes de IA frequentemente preferiam operações familiares aos desenvolvedores, como buscar texto, ler arquivos e localizar símbolos, em vez de abstrações de nível superior que exigiam verificação adicional. Isso sugere que a interface e a familiaridade com as operações são cruciais para a adoção e eficácia das ferramentas pelos agentes.
Siddharth Vaithinathan, em uma discussão sobre o estudo, levantou uma questão arquitetônica mais ampla: a necessidade de os agentes de codificação entenderem não apenas o código, mas também a empresa que o produziu. Ele argumentou que a indexação de repositórios por si só não consegue capturar o porquê de certas decisões arquitetônicas terem sido tomadas, as restrições que as moldaram ou as lições aprendidas em incidentes anteriores. Vaithinathan sugeriu expandir o conhecimento dos agentes para além do código e da documentação, incluindo arquitetura, restrições, decisões, justificativas, incidentes e resultados. Esse contexto adicional poderia ajudar os agentes a avaliar as escolhas de design existentes antes de propor mudanças, especialmente em sistemas onde a experiência operacional histórica influencia as decisões arquitetônicas.
Tarun Bhargava, por sua vez, questionou a interpretação dos benchmarks, especialmente quando as avaliações usam subconjuntos limitados e modelos probabilísticos, sugerindo a necessidade de múltiplas execuções para obter números de custo/precisão mais robustos. A JioHotstar concluiu que não há uma única abordagem de recuperação que seja a melhor para todas as tarefas. A recomendação é manter as ferramentas de sistema de arquivos como linha de base, usar busca estrutural para problemas concretos e focados em código, e indexação semântica para requisitos ambíguos ou multifacetados. A equipe de engenharia da JioHotstar também enfatiza a importância de medir os rastros de uso da ferramenta junto com a precisão da tarefa para determinar se a recuperação reduz a exploração desnecessária, destacando a importância de alinhar as capacidades de recuperação com a tarefa de programação e a forma como o agente navega na base de código.
O que isso muda para você
Para profissionais brasileiros que trabalham com desenvolvimento de software e inteligência artificial, as descobertas da JioHotstar são um lembrete crucial: a implementação de agentes de codificação com IA não é uma solução de "tamanho único". Em vez de buscar a ferramenta "perfeita", o foco deve ser na adequação da abordagem de recuperação de informações à natureza da tarefa de programação. Isso significa que equipes de desenvolvimento precisam analisar cuidadosamente se um problema é bem definido e estrutural ou se exige uma compreensão semântica mais profunda antes de escolher a ferramenta de IA.
Na prática, isso pode significar a adoção de uma estratégia híbrida, onde diferentes ferramentas são empregadas para diferentes tipos de desafios de codificação. Profissionais devem considerar a experimentação com abordagens como busca estrutural para refatorações ou correções de bugs claros, e recuperação semântica para tarefas de design ou entendimento de requisitos complexos. O próximo passo concreto é começar a mapear os tipos de tarefas de codificação em suas equipes e pesquisar quais ferramentas de recuperação de IA se alinham melhor a cada categoria, sempre medindo o impacto na produtividade e no consumo de recursos.
