A capacidade de identificar ideias de pesquisa verdadeiramente novas é crucial para o avanço científico. No entanto, um estudo recente, "Old Ideas, Novel Problems", conduzido pela Allen AI e divulgado no Hugging Face Blog, aponta que os Modelos de Linguagem Grandes (LLMs) ainda estão longe de serem avaliadores confiáveis de originalidade. A pesquisa destaca que a avaliação da novidade por LLMs é inconsistente e sensível a pequenas variações nos parâmetros de configuração.
Os sistemas de IA estão cada vez mais envolvidos em diversas etapas da descoberta científica, desde a exploração de dados até a geração de hipóteses e a síntese de evidências. Projetos como DataVoyager, AutoDiscovery e Theorizer, da Ai2, exemplificam essa tendência, visando auxiliar pesquisadores na proposição e refinamento de novas ideias. Contudo, a geração de ideias é apenas uma parte do desafio; a outra é garantir que essas ideias sejam genuinamente novas e não apenas uma reformulação de trabalhos existentes.
É nesse ponto que entram os "juízes de novidade", que são frequentemente outros LLMs encarregados de avaliar se uma ideia de pesquisa é nova em relação a trabalhos anteriores. A forma como esses juízes são construídos varia amplamente, com equipes de pesquisa escolhendo modelos, prompts, formatos de avaliação e orçamentos de raciocínio. O estudo do Hugging Face Blog revela que essas escolhas podem afetar materialmente o veredicto, e que a validação desses juízes é muitas vezes feita em artigos escritos por humanos, e não nas ideias geradas por IA que eles deveriam avaliar.
A Inconsistência dos Juízes de Novidade
Os resultados do novo benchmark são preocupantes. Seis LLMs foram testados – GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 e Claude Opus 4.6. O estudo demonstrou que pequenas alterações na configuração da avaliação resultaram em julgamentos dramaticamente diferentes para as mesmas ideias. Em um experimento, a mudança de apenas algumas palavras em um prompt alterou a precisão de um modelo em identificar qual de duas ideias era mais inovadora em mais de 50 pontos percentuais. Nem mesmo a recuperação de informações adicionais ou o raciocínio aprimorado melhoraram consistentemente os julgamentos, e dois sistemas de avaliação de novidade construídos especificamente para essa finalidade tiveram desempenho inferior a um simples Claude Opus 4.6 com um prompt básico.
Para chegar a essas conclusões, os pesquisadores desenvolveram um pipeline automatizado baseado em revisões de pares da ICLR 2026. Em vez de usar a aceitação de artigos como um indicador de novidade, eles extraíram passagens das próprias revisões onde a originalidade da contribuição era explicitamente discutida. Isso permitiu a criação de um "pool de alta novidade" com 154 ideias de pesquisa de autoria humana, selecionadas de artigos aceitos com alta classificação e com revisores que identificaram positivamente a novidade. Um "pool de baixa novidade" foi criado de forma inversa, com 145 ideias de artigos rejeitados com preocupações de originalidade.
Além disso, um segundo cenário de avaliação, "Humano+Gerado", foi criado, emparelhando as 154 ideias humanas validadas com 154 ideias produzidas por um gerador LLM simples. A premissa era que as ideias geradas seriam menos novas, fornecendo uma comparação conservadora entre ideias de um gerador básico e contribuições de artigos de alto nível da ICLR. A instabilidade dos julgamentos dos LLMs foi um achado central, independentemente da precisão dos rótulos de novidade, pois o simples fato de diferentes configurações produzirem resultados opostos para o mesmo par de ideias já demonstra a falta de confiabilidade.
O que isso muda para você
Para profissionais brasileiros que atuam com IA, especialmente em pesquisa e desenvolvimento, este estudo do Hugging Face Blog serve como um alerta importante. A dependência de LLMs para avaliar a originalidade de projetos ou propostas pode introduzir vieses e inconsistências significativas, potencialmente levando a decisões erradas sobre o que é realmente inovador. Isso significa que, ao utilizar ferramentas baseadas em LLMs para triagem de ideias ou para análise de patentes, por exemplo, é crucial manter uma supervisão humana rigorosa e não confiar cegamente nos veredictos da máquina.
O mercado de trabalho em IA no Brasil, que busca cada vez mais a inovação, precisa de profissionais cientes dessas limitações. Desenvolvedores e pesquisadores devem focar na criação de sistemas de avaliação de novidade mais robustos, talvez combinando a capacidade de processamento dos LLMs com métodos de validação humana ou abordagens híbridas que mitiguem a sensibilidade a pequenas mudanças de prompt. Um próximo passo concreto é investir em treinamento para equipes sobre como formular prompts eficazes e como interpretar os resultados dos LLMs com um olhar crítico, reconhecendo que a "novidade" é um conceito complexo que a IA ainda luta para dominar de forma consistente.
