A capacidade dos modelos de Inteligência Artificial em interagir com o mundo em tempo real é um dos grandes desafios da área. Um novo estudo, que introduziu o benchmark Realtime-Bench, revela que os atuais modelos de linguagem grandes (LLMs) ainda estão longe de dominar tarefas que exigem respostas rápidas e adaptativas. Isso significa que, por enquanto, a ideia de ter uma IA jogando games complexos ou participando de leilões online por você ainda é uma realidade distante.
O Realtime-Bench é um conjunto de 50 tarefas dinâmicas, cuidadosamente selecionadas, onde atrasos nas ações impactam diretamente o sucesso. Ele é dividido em 30 tarefas web, abrangendo categorias como viagens, e-commerce, serviços e segurança, e 20 tarefas de jogos, incluindo arcade, quebra-cabeça, estratégia e simulação. Este teste foi desenvolvido por pesquisadores da Universidade do Texas em Austin, Ohio State University, Universidade de Illinois em Urbana-Champaign, NVIDIA, Northwestern University e Steadyworks.
O que o Realtime-Bench avalia
O benchmark foi projetado para medir três qualidades cruciais em sistemas de IA. A primeira é a “consciência do estado temporal” (RT-Perceive), que avalia a capacidade dos modelos de usar observações para rastrear mudanças no ambiente. Em seguida, temos a “deliberação adaptativa” (RT-Deliberate), que verifica se os modelos conseguem ajustar a duração e a profundidade de seu raciocínio conforme o tempo disponível. Por fim, a “seleção de ação consciente do tempo” (RT-Act) mede a habilidade dos modelos de cronometrar suas ações de forma apropriada para cada situação.
Para ilustrar, imagine um agente de IA comprando um ingresso: ele precisa monitorar o status da venda e verificar se a disponibilidade observada ainda é atual (RT-Perceive), limitar a deliberação quando a janela de compra está se fechando (RT-Deliberate) e decidir entre esperar a abertura das vendas ou comprar enquanto os ingressos estão disponíveis (RT-Act). O teste utiliza três condições: “Wall clock”, que simula a latência do mundo real; “Paused clock”, que permite pausas arbitrárias para avaliar a capacidade base; e “Token clock”, que avança o ambiente a uma taxa fixa por token gerado, atrasando a execução conforme mais tokens são consumidos.
Desempenho dos modelos e o que isso significa
Os pesquisadores testaram diversos modelos de ponta, incluindo GPT-6 Astra, GPT-5.6 Sol, GPT-Realtime-2 e OpenAI Decisions da OpenAI; Claude Fable 5.1 e Claude Opus 5 da Anthropic; Gemini 3.8 Flash, Gemini 3.1 Flash Live e Gemini 3.8 Live do Google; Jev 1.13; além de modelos chineses como Deepseek V4.1 e Moonshot AI Kimi-K3. Os resultados mostraram que o GPT-6 Astra (high) obteve a maior taxa de sucesso na avaliação “wall clock”, com apenas 36%.
Em contraste, quando o relógio era pausado, permitindo mais tempo para raciocínio, os modelos alcançaram taxas de sucesso próximas a 70% ou até 80%. Essa diferença significativa ressalta que, embora os LLMs possuam capacidades de raciocínio avançadas, a restrição de tempo real é um gargalo considerável. Este benchmark serve como um indicador eficaz dos pontos fracos atuais dos agentes de IA, mostrando onde eles ainda não podem ser esperados para ter um bom desempenho.
O que isso muda para você
Para profissionais brasileiros que acompanham a evolução da IA, essa pesquisa é um lembrete importante: a promessa de agentes de IA autônomos e super-eficientes em todas as tarefas ainda tem barreiras significativas. No seu dia a dia profissional, isso significa que, embora os LLMs sejam excelentes para tarefas que permitem tempo para processamento e deliberação, como redação, análise de dados ou atendimento ao cliente assíncrono, eles ainda não são a solução ideal para cenários que exigem decisões instantâneas e adaptativas, como a automação de negociações financeiras em tempo real ou o controle de sistemas críticos.
O mercado de trabalho e as empresas devem focar na aplicação de IA onde ela realmente se destaca hoje, evitando expectativas irreais para tarefas de baixa latência. Para quem desenvolve soluções, o desafio é claro: investir em arquiteturas e algoritmos que melhorem a percepção temporal, a deliberação adaptativa e a seleção de ações em tempo real. Como próximo passo, considere avaliar as necessidades de tempo de resposta em seus projetos de IA e priorize ferramentas e abordagens que se alinhem com as capacidades atuais dos modelos, enquanto acompanha de perto os avanços nessa área crítica.
