Pesquisa em IA✦ Gerado por IA

SWE-Duel: IA Codificadora em Duelos que Evoluem Sozinhos

Pesquisadores propõem uma nova abordagem para avaliar IAs de programação, o SWE-Duel. Em vez de testes estáticos, agentes de código se enfrentam em um ambiente dinâmico, criando e resolvendo desafios em tempo real.

Edição de ·ArXiv CS.CL·4 min de leitura·
CompartilharWhatsAppXLinkedInFacebook
💡

Principal Aprendizado

O SWE-Duel propõe que IAs de programação se avaliem mutuamente, criando e resolvendo desafios em tempo real, garantindo que a dificuldade dos testes evolua com a capacidade dos próprios agentes.

No universo da Inteligência Artificial, a capacidade de uma máquina programar é um dos grandes marcos. Mas como saber se uma IA é realmente boa em codificar? Os benchmarks tradicionais, com seus desafios fixos, acabam se tornando obsoletos rapidamente, pois as IAs aprendem com eles e os saturam.

É aí que entra o SWE-Duel, uma proposta inovadora que promete revolucionar a forma como avaliamos os agentes de programação. Imagine uma arena onde as IAs não apenas resolvem problemas, mas também os criam, em um ciclo contínuo de aprendizado e desafio.

O conceito central é o de um "benchmark autoescalável". Isso significa que as tarefas e os critérios de avaliação são gerados no momento da avaliação, eliminando a chance de vazamento de dados de treinamento e garantindo que a dificuldade se ajuste ao nível dos próprios agentes participantes.

No SWE-Duel, dois agentes de código se enfrentam em turnos. Um agente, o "Vermelho", tem a tarefa de implementar uma nova funcionalidade em um repositório real, incluindo testes para essa funcionalidade. Mas a parte mais interessante é que ele também deve inserir um bug sutil nessa nova funcionalidade, junto com testes que o revelem.

Para que a contribuição do agente Vermelho seja aceita, ela precisa passar nos testes da funcionalidade e nos testes existentes do repositório, mas falhar *apenas* nos testes do bug. Além disso, o próprio agente Vermelho, em uma sessão separada, precisa ser capaz de corrigir o bug que ele mesmo criou, garantindo que a tarefa não seja impossível.

Em seguida, entra o agente "Azul". Ele recebe o código com a nova funcionalidade e o bug, mas sem saber que há um erro intencional. O objetivo do Azul é revisar o código e, se conseguir, corrigir o bug. Ele vence se sua revisão passar em todos os três conjuntos de testes: os da funcionalidade, os existentes e os que revelam o bug.

Após essa rodada, os papéis se invertem, e o agente Azul se torna o criador de tarefas, enquanto o Vermelho tenta resolvê-las. Essa dinâmica de duelo constante força os agentes a aprimorarem tanto suas habilidades de resolução de problemas quanto suas capacidades de criar desafios complexos.

Em um torneio com 11 participantes e 15 repositórios em cinco linguagens, o GPT-5.5 com Codex CLI se destacou como o melhor resolvedor, corrigindo impressionantes 98,3% dos defeitos que revisou. Já o Claude Opus 4.8 com mini-swe-agent brilhou como o melhor autor de tarefas, com uma taxa de vitória de 27,3% como agente Vermelho.

Um dado fascinante é que tarefas criadas por versões mais recentes de um mesmo modelo derrotaram um resolvedor de referência fixo com muito mais frequência (42,9% contra 4,0%) do que as versões mais antigas. Isso sugere que a dificuldade das tarefas realmente escala com a capacidade de autoria dos modelos, confirmando o potencial autoescalável do SWE-Duel.

Para o mercado brasileiro, essa inovação pode significar um salto na qualidade dos assistentes de programação e ferramentas de desenvolvimento. IAs mais robustas e testadas em cenários dinâmicos podem acelerar a inovação e a eficiência no desenvolvimento de software local. É um passo importante para garantir que as IAs de codificação continuem evoluindo de forma relevante e desafiadora.

📰 Com base em reportagem de ArXiv CS.CL. Texto produzido com apoio de inteligência artificial, com curadoria e edição de Robson Benfica Conceição, com análise própria do que a notícia muda para quem trabalha no Brasil. Veja como produzimos.

📬 Newsletter Gratuita

As principais notícias de IA do dia, curadas por Robson Conceição. Grátis, todo dia no seu e-mail.

Gostou do conteúdo?

Compartilhe com quem também quer entender IA no trabalho.

CompartilharWhatsAppXLinkedInFacebook

Leia também