No universo da Inteligência Artificial, a capacidade de uma máquina programar é um dos grandes marcos. Mas como saber se uma IA é realmente boa em codificar? Os benchmarks tradicionais, com seus desafios fixos, acabam se tornando obsoletos rapidamente, pois as IAs aprendem com eles e os saturam.
É aí que entra o SWE-Duel, uma proposta inovadora que promete revolucionar a forma como avaliamos os agentes de programação. Imagine uma arena onde as IAs não apenas resolvem problemas, mas também os criam, em um ciclo contínuo de aprendizado e desafio.
O conceito central é o de um "benchmark autoescalável". Isso significa que as tarefas e os critérios de avaliação são gerados no momento da avaliação, eliminando a chance de vazamento de dados de treinamento e garantindo que a dificuldade se ajuste ao nível dos próprios agentes participantes.
No SWE-Duel, dois agentes de código se enfrentam em turnos. Um agente, o "Vermelho", tem a tarefa de implementar uma nova funcionalidade em um repositório real, incluindo testes para essa funcionalidade. Mas a parte mais interessante é que ele também deve inserir um bug sutil nessa nova funcionalidade, junto com testes que o revelem.
Para que a contribuição do agente Vermelho seja aceita, ela precisa passar nos testes da funcionalidade e nos testes existentes do repositório, mas falhar *apenas* nos testes do bug. Além disso, o próprio agente Vermelho, em uma sessão separada, precisa ser capaz de corrigir o bug que ele mesmo criou, garantindo que a tarefa não seja impossível.
Em seguida, entra o agente "Azul". Ele recebe o código com a nova funcionalidade e o bug, mas sem saber que há um erro intencional. O objetivo do Azul é revisar o código e, se conseguir, corrigir o bug. Ele vence se sua revisão passar em todos os três conjuntos de testes: os da funcionalidade, os existentes e os que revelam o bug.
Após essa rodada, os papéis se invertem, e o agente Azul se torna o criador de tarefas, enquanto o Vermelho tenta resolvê-las. Essa dinâmica de duelo constante força os agentes a aprimorarem tanto suas habilidades de resolução de problemas quanto suas capacidades de criar desafios complexos.
Em um torneio com 11 participantes e 15 repositórios em cinco linguagens, o GPT-5.5 com Codex CLI se destacou como o melhor resolvedor, corrigindo impressionantes 98,3% dos defeitos que revisou. Já o Claude Opus 4.8 com mini-swe-agent brilhou como o melhor autor de tarefas, com uma taxa de vitória de 27,3% como agente Vermelho.
Um dado fascinante é que tarefas criadas por versões mais recentes de um mesmo modelo derrotaram um resolvedor de referência fixo com muito mais frequência (42,9% contra 4,0%) do que as versões mais antigas. Isso sugere que a dificuldade das tarefas realmente escala com a capacidade de autoria dos modelos, confirmando o potencial autoescalável do SWE-Duel.
Para o mercado brasileiro, essa inovação pode significar um salto na qualidade dos assistentes de programação e ferramentas de desenvolvimento. IAs mais robustas e testadas em cenários dinâmicos podem acelerar a inovação e a eficiência no desenvolvimento de software local. É um passo importante para garantir que as IAs de codificação continuem evoluindo de forma relevante e desafiadora.
