Agentes de IA✦ Gerado por IA

JioHotstar Avalia Bases de Conhecimento para Agentes de Codificação com IA

A JioHotstar realizou uma avaliação aprofundada de seis abordagens para auxiliar agentes de IA na navegação por grandes bases de código. Os resultados mostram que a escolha da ferramenta de recuperação de informações deve ser estratégica, dependendo da clareza da tarefa de programação.

Edição de ·InfoQ AI·6 min de leitura·
CompartilharWhatsAppXLinkedInFacebook
💡

Principal Aprendizado

A eficácia dos agentes de codificação com IA depende da escolha da abordagem de recuperação de informações, que deve ser alinhada à clareza e complexidade da tarefa de programação.

A JioHotstar, uma empresa de tecnologia, conduziu um estudo detalhado para entender como os agentes de inteligência artificial podem navegar de forma mais eficaz em grandes bases de código. A pesquisa avaliou seis métodos distintos de recuperação de informações, buscando otimizar o desempenho desses agentes em tarefas de programação.

O estudo revelou que não existe uma solução única para todas as situações. Para tarefas de engenharia bem definidas e estruturadas, a busca de código baseada em sua estrutura se mostrou bastante eficiente. Por outro lado, quando os requisitos eram mais ambíguos ou exigiam uma interpretação mais profunda, a recuperação semântica de informações ofereceu melhores resultados. Curiosamente, a adição de camadas de recuperação nem sempre resultou em melhoria na conclusão das tarefas ou na redução do consumo de tokens, indicando que mais nem sempre é melhor.

Detalhes da Avaliação e Ferramentas

Abhishek Bansal, engenheiro sênior da JioHotstar, liderou a comparação de diversas ferramentas e abordagens. Entre elas estavam ferramentas de sistema de arquivos, Sourcebot, Graphify, CocoIndex Code, Repowise e um pipeline interno de Geração Aumentada por Recuperação (RAG). A equipe utilizou subconjuntos dos benchmarks SWE-bench e CodeScaleBench, além de um sistema de perguntas e respostas personalizado para a base de código da própria JioHotstar. O modelo de IA utilizado para resolver as tarefas foi o Claude Sonnet, e as métricas avaliadas incluíram precisão da tarefa, consumo de tokens, número de interações do agente e usabilidade da ferramenta.

Os resultados mostraram que a abordagem de sistema de arquivos, que utiliza repositórios locais e operações padrão de busca e leitura de arquivos, manteve-se competitiva em tarefas concretas. O Sourcebot, que oferece busca de texto indexada, definições de símbolos e referências, superou a linha de base em tarefas mais complexas do SWE-bench Verified, com um custo menor. No entanto, em tarefas mais simples do SWE-bench Lite, a recuperação de informações muitas vezes adicionou uma sobrecarga sem trazer melhorias consistentes. O CodeScaleBench, por sua vez, evidenciou que a recuperação semântica era mais útil quando os agentes precisavam interpretar descrições de problemas ambíguas e mapeá-las para detalhes de implementação que não eram óbvios em buscas textuais ou de símbolos exatas. Isso reforça a ideia de que as abordagens de recuperação devem ser escolhidas de acordo com as características da tarefa.

A Importância do Design da Ferramenta e Contexto Ampliado

A pesquisa também sublinhou a relevância do design das ferramentas. Os agentes de IA frequentemente preferiam operações familiares aos desenvolvedores, como buscar texto, ler arquivos e localizar símbolos, em vez de abstrações de nível superior que exigiam verificação adicional. Isso sugere que a interface e a familiaridade com as operações são cruciais para a adoção e eficácia das ferramentas pelos agentes.

Siddharth Vaithinathan, em uma discussão sobre o estudo, levantou uma questão arquitetônica mais ampla: a necessidade de os agentes de codificação entenderem não apenas o código, mas também a empresa que o produziu. Ele argumentou que a indexação de repositórios por si só não consegue capturar o porquê de certas decisões arquitetônicas terem sido tomadas, as restrições que as moldaram ou as lições aprendidas em incidentes anteriores. Vaithinathan sugeriu expandir o conhecimento dos agentes para além do código e da documentação, incluindo arquitetura, restrições, decisões, justificativas, incidentes e resultados. Esse contexto adicional poderia ajudar os agentes a avaliar as escolhas de design existentes antes de propor mudanças, especialmente em sistemas onde a experiência operacional histórica influencia as decisões arquitetônicas.

Tarun Bhargava, por sua vez, questionou a interpretação dos benchmarks, especialmente quando as avaliações usam subconjuntos limitados e modelos probabilísticos, sugerindo a necessidade de múltiplas execuções para obter números de custo/precisão mais robustos. A JioHotstar concluiu que não há uma única abordagem de recuperação que seja a melhor para todas as tarefas. A recomendação é manter as ferramentas de sistema de arquivos como linha de base, usar busca estrutural para problemas concretos e focados em código, e indexação semântica para requisitos ambíguos ou multifacetados. A equipe de engenharia da JioHotstar também enfatiza a importância de medir os rastros de uso da ferramenta junto com a precisão da tarefa para determinar se a recuperação reduz a exploração desnecessária, destacando a importância de alinhar as capacidades de recuperação com a tarefa de programação e a forma como o agente navega na base de código.

O que isso muda para você

Para profissionais brasileiros que trabalham com desenvolvimento de software e inteligência artificial, as descobertas da JioHotstar são um lembrete crucial: a implementação de agentes de codificação com IA não é uma solução de "tamanho único". Em vez de buscar a ferramenta "perfeita", o foco deve ser na adequação da abordagem de recuperação de informações à natureza da tarefa de programação. Isso significa que equipes de desenvolvimento precisam analisar cuidadosamente se um problema é bem definido e estrutural ou se exige uma compreensão semântica mais profunda antes de escolher a ferramenta de IA.

Na prática, isso pode significar a adoção de uma estratégia híbrida, onde diferentes ferramentas são empregadas para diferentes tipos de desafios de codificação. Profissionais devem considerar a experimentação com abordagens como busca estrutural para refatorações ou correções de bugs claros, e recuperação semântica para tarefas de design ou entendimento de requisitos complexos. O próximo passo concreto é começar a mapear os tipos de tarefas de codificação em suas equipes e pesquisar quais ferramentas de recuperação de IA se alinham melhor a cada categoria, sempre medindo o impacto na produtividade e no consumo de recursos.

📰 Com base em reportagem de InfoQ AI. Texto produzido com apoio de inteligência artificial, com curadoria e edição de Robson Benfica Conceição, com análise própria do que a notícia muda para quem trabalha no Brasil. Veja como produzimos.

📬 Newsletter Gratuita

As principais notícias de IA do dia, curadas por Robson Conceição. Grátis, todo dia no seu e-mail.

Gostou do conteúdo?

Compartilhe com quem também quer entender IA no trabalho.

CompartilharWhatsAppXLinkedInFacebook

Leia também