Pesquisa em IA✦ Gerado por IA

IA avalia ineditismo de pesquisas científicas com novo estudo

Um novo estudo revela que Modelos de Linguagem Grandes (LLMs) têm dificuldade em julgar a originalidade de ideias de pesquisa. Pequenas alterações nas configurações de avaliação podem levar a veredictos drasticamente diferentes, levantando questões sobre a confiabilidade desses sistemas na descoberta científica.

Edição de ·Hugging Face Blog·5 min de leitura·
CompartilharWhatsAppXLinkedInFacebook
💡

Principal Aprendizado

Modelos de Linguagem Grandes (LLMs) são inconsistentes e não confiáveis para avaliar a novidade de ideias de pesquisa, com pequenas alterações nos prompts gerando vereditos drasticamente diferentes.

A capacidade de identificar ideias de pesquisa verdadeiramente novas é crucial para o avanço científico. No entanto, um estudo recente, "Old Ideas, Novel Problems", conduzido pela Allen AI e divulgado no Hugging Face Blog, aponta que os Modelos de Linguagem Grandes (LLMs) ainda estão longe de serem avaliadores confiáveis de originalidade. A pesquisa destaca que a avaliação da novidade por LLMs é inconsistente e sensível a pequenas variações nos parâmetros de configuração.

Os sistemas de IA estão cada vez mais envolvidos em diversas etapas da descoberta científica, desde a exploração de dados até a geração de hipóteses e a síntese de evidências. Projetos como DataVoyager, AutoDiscovery e Theorizer, da Ai2, exemplificam essa tendência, visando auxiliar pesquisadores na proposição e refinamento de novas ideias. Contudo, a geração de ideias é apenas uma parte do desafio; a outra é garantir que essas ideias sejam genuinamente novas e não apenas uma reformulação de trabalhos existentes.

É nesse ponto que entram os "juízes de novidade", que são frequentemente outros LLMs encarregados de avaliar se uma ideia de pesquisa é nova em relação a trabalhos anteriores. A forma como esses juízes são construídos varia amplamente, com equipes de pesquisa escolhendo modelos, prompts, formatos de avaliação e orçamentos de raciocínio. O estudo do Hugging Face Blog revela que essas escolhas podem afetar materialmente o veredicto, e que a validação desses juízes é muitas vezes feita em artigos escritos por humanos, e não nas ideias geradas por IA que eles deveriam avaliar.

A Inconsistência dos Juízes de Novidade

Os resultados do novo benchmark são preocupantes. Seis LLMs foram testados – GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 e Claude Opus 4.6. O estudo demonstrou que pequenas alterações na configuração da avaliação resultaram em julgamentos dramaticamente diferentes para as mesmas ideias. Em um experimento, a mudança de apenas algumas palavras em um prompt alterou a precisão de um modelo em identificar qual de duas ideias era mais inovadora em mais de 50 pontos percentuais. Nem mesmo a recuperação de informações adicionais ou o raciocínio aprimorado melhoraram consistentemente os julgamentos, e dois sistemas de avaliação de novidade construídos especificamente para essa finalidade tiveram desempenho inferior a um simples Claude Opus 4.6 com um prompt básico.

Para chegar a essas conclusões, os pesquisadores desenvolveram um pipeline automatizado baseado em revisões de pares da ICLR 2026. Em vez de usar a aceitação de artigos como um indicador de novidade, eles extraíram passagens das próprias revisões onde a originalidade da contribuição era explicitamente discutida. Isso permitiu a criação de um "pool de alta novidade" com 154 ideias de pesquisa de autoria humana, selecionadas de artigos aceitos com alta classificação e com revisores que identificaram positivamente a novidade. Um "pool de baixa novidade" foi criado de forma inversa, com 145 ideias de artigos rejeitados com preocupações de originalidade.

Além disso, um segundo cenário de avaliação, "Humano+Gerado", foi criado, emparelhando as 154 ideias humanas validadas com 154 ideias produzidas por um gerador LLM simples. A premissa era que as ideias geradas seriam menos novas, fornecendo uma comparação conservadora entre ideias de um gerador básico e contribuições de artigos de alto nível da ICLR. A instabilidade dos julgamentos dos LLMs foi um achado central, independentemente da precisão dos rótulos de novidade, pois o simples fato de diferentes configurações produzirem resultados opostos para o mesmo par de ideias já demonstra a falta de confiabilidade.

O que isso muda para você

Para profissionais brasileiros que atuam com IA, especialmente em pesquisa e desenvolvimento, este estudo do Hugging Face Blog serve como um alerta importante. A dependência de LLMs para avaliar a originalidade de projetos ou propostas pode introduzir vieses e inconsistências significativas, potencialmente levando a decisões erradas sobre o que é realmente inovador. Isso significa que, ao utilizar ferramentas baseadas em LLMs para triagem de ideias ou para análise de patentes, por exemplo, é crucial manter uma supervisão humana rigorosa e não confiar cegamente nos veredictos da máquina.

O mercado de trabalho em IA no Brasil, que busca cada vez mais a inovação, precisa de profissionais cientes dessas limitações. Desenvolvedores e pesquisadores devem focar na criação de sistemas de avaliação de novidade mais robustos, talvez combinando a capacidade de processamento dos LLMs com métodos de validação humana ou abordagens híbridas que mitiguem a sensibilidade a pequenas mudanças de prompt. Um próximo passo concreto é investir em treinamento para equipes sobre como formular prompts eficazes e como interpretar os resultados dos LLMs com um olhar crítico, reconhecendo que a "novidade" é um conceito complexo que a IA ainda luta para dominar de forma consistente.

📰 Com base em reportagem de Hugging Face Blog. Texto produzido com apoio de inteligência artificial, com curadoria e edição de Robson Benfica Conceição, com análise própria do que a notícia muda para quem trabalha no Brasil. Veja como produzimos.

📬 Newsletter Gratuita

As principais notícias de IA do dia, curadas por Robson Conceição. Grátis, todo dia no seu e-mail.

Gostou do conteúdo?

Compartilhe com quem também quer entender IA no trabalho.

CompartilharWhatsAppXLinkedInFacebook

Leia também