Pesquisa em IA✦ Gerado por IA

Modelos de IA falham em tarefas de tempo real, revela novo estudo

Uma nova pesquisa aponta que os atuais modelos de linguagem grandes (LLMs) ainda não conseguem lidar eficientemente com tarefas que exigem decisões em tempo real. O benchmark Realtime-Bench avaliou a capacidade de sistemas de IA em jogos e tarefas web dinâmicas, revelando um desempenho abaixo do esperado.

Edição de ·Import AI·6 min de leitura·
CompartilharWhatsAppXLinkedInFacebook
💡

Principal Aprendizado

Modelos de linguagem grandes (LLMs) ainda são ineficazes em tarefas que exigem decisões e ações em tempo real, com taxas de sucesso muito baixas em cenários práticos.

A capacidade dos modelos de Inteligência Artificial em interagir com o mundo em tempo real é um dos grandes desafios da área. Um novo estudo, que introduziu o benchmark Realtime-Bench, revela que os atuais modelos de linguagem grandes (LLMs) ainda estão longe de dominar tarefas que exigem respostas rápidas e adaptativas. Isso significa que, por enquanto, a ideia de ter uma IA jogando games complexos ou participando de leilões online por você ainda é uma realidade distante.

O Realtime-Bench é um conjunto de 50 tarefas dinâmicas, cuidadosamente selecionadas, onde atrasos nas ações impactam diretamente o sucesso. Ele é dividido em 30 tarefas web, abrangendo categorias como viagens, e-commerce, serviços e segurança, e 20 tarefas de jogos, incluindo arcade, quebra-cabeça, estratégia e simulação. Este teste foi desenvolvido por pesquisadores da Universidade do Texas em Austin, Ohio State University, Universidade de Illinois em Urbana-Champaign, NVIDIA, Northwestern University e Steadyworks.

O que o Realtime-Bench avalia

O benchmark foi projetado para medir três qualidades cruciais em sistemas de IA. A primeira é a “consciência do estado temporal” (RT-Perceive), que avalia a capacidade dos modelos de usar observações para rastrear mudanças no ambiente. Em seguida, temos a “deliberação adaptativa” (RT-Deliberate), que verifica se os modelos conseguem ajustar a duração e a profundidade de seu raciocínio conforme o tempo disponível. Por fim, a “seleção de ação consciente do tempo” (RT-Act) mede a habilidade dos modelos de cronometrar suas ações de forma apropriada para cada situação.

Para ilustrar, imagine um agente de IA comprando um ingresso: ele precisa monitorar o status da venda e verificar se a disponibilidade observada ainda é atual (RT-Perceive), limitar a deliberação quando a janela de compra está se fechando (RT-Deliberate) e decidir entre esperar a abertura das vendas ou comprar enquanto os ingressos estão disponíveis (RT-Act). O teste utiliza três condições: “Wall clock”, que simula a latência do mundo real; “Paused clock”, que permite pausas arbitrárias para avaliar a capacidade base; e “Token clock”, que avança o ambiente a uma taxa fixa por token gerado, atrasando a execução conforme mais tokens são consumidos.

Desempenho dos modelos e o que isso significa

Os pesquisadores testaram diversos modelos de ponta, incluindo GPT-6 Astra, GPT-5.6 Sol, GPT-Realtime-2 e OpenAI Decisions da OpenAI; Claude Fable 5.1 e Claude Opus 5 da Anthropic; Gemini 3.8 Flash, Gemini 3.1 Flash Live e Gemini 3.8 Live do Google; Jev 1.13; além de modelos chineses como Deepseek V4.1 e Moonshot AI Kimi-K3. Os resultados mostraram que o GPT-6 Astra (high) obteve a maior taxa de sucesso na avaliação “wall clock”, com apenas 36%.

Em contraste, quando o relógio era pausado, permitindo mais tempo para raciocínio, os modelos alcançaram taxas de sucesso próximas a 70% ou até 80%. Essa diferença significativa ressalta que, embora os LLMs possuam capacidades de raciocínio avançadas, a restrição de tempo real é um gargalo considerável. Este benchmark serve como um indicador eficaz dos pontos fracos atuais dos agentes de IA, mostrando onde eles ainda não podem ser esperados para ter um bom desempenho.

O que isso muda para você

Para profissionais brasileiros que acompanham a evolução da IA, essa pesquisa é um lembrete importante: a promessa de agentes de IA autônomos e super-eficientes em todas as tarefas ainda tem barreiras significativas. No seu dia a dia profissional, isso significa que, embora os LLMs sejam excelentes para tarefas que permitem tempo para processamento e deliberação, como redação, análise de dados ou atendimento ao cliente assíncrono, eles ainda não são a solução ideal para cenários que exigem decisões instantâneas e adaptativas, como a automação de negociações financeiras em tempo real ou o controle de sistemas críticos.

O mercado de trabalho e as empresas devem focar na aplicação de IA onde ela realmente se destaca hoje, evitando expectativas irreais para tarefas de baixa latência. Para quem desenvolve soluções, o desafio é claro: investir em arquiteturas e algoritmos que melhorem a percepção temporal, a deliberação adaptativa e a seleção de ações em tempo real. Como próximo passo, considere avaliar as necessidades de tempo de resposta em seus projetos de IA e priorize ferramentas e abordagens que se alinhem com as capacidades atuais dos modelos, enquanto acompanha de perto os avanços nessa área crítica.

📰 Com base em reportagem de Import AI. Texto produzido com apoio de inteligência artificial, com curadoria e edição de Robson Benfica Conceição, com análise própria do que a notícia muda para quem trabalha no Brasil. Veja como produzimos.

📬 Newsletter Gratuita

As principais notícias de IA do dia, curadas por Robson Conceição. Grátis, todo dia no seu e-mail.

Gostou do conteúdo?

Compartilhe com quem também quer entender IA no trabalho.

CompartilharWhatsAppXLinkedInFacebook

Leia também