A capacidade de agentes de Inteligência Artificial de navegar e interagir em ambientes virtuais complexos tem sido um foco crescente de pesquisa. Recentemente, um estudo publicado no ArXiv, intitulado "Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds", trouxe novas perspectivas sobre como o pré-treinamento contínuo pode otimizar esses agentes.
Os pesquisadores investigaram se os avanços observados no aprendizado de agentes em ambientes físicos, onde as leis são consistentes, poderiam ser replicados em mundos virtuais. Estes últimos apresentam variações significativas em estilos visuais, dinâmicas, controles e objetivos, tornando a generalização um desafio maior.
O estudo realizou uma análise controlada do pré-treinamento contínuo (CPT) em três dimensões cruciais: volume de dados, diversidade de ambientes e tamanho do modelo. Foram configuradas 120 configurações de treinamento, utilizando quatro tamanhos de modelo (de 0.8B a 27B parâmetros), seis orçamentos de dados (de 50 a 1.600 horas) e cinco misturas de dados, que variavam desde informações exclusivas do jogo Minecraft até um vasto conjunto de dados multi-mundo.
Para avaliar o desempenho e a capacidade de generalização dos agentes, a equipe utilizou perdas de validação em três níveis e benchmarks de jogabilidade. Estes testes foram aplicados tanto em mundos que faziam parte do corpus de treinamento quanto em mundos completamente novos, nunca vistos pelos agentes.
Os resultados revelaram descobertas importantes. Primeiramente, um maior volume de dados de treinamento realmente melhora o desempenho dos agentes nos mundos que já conhecem. A diversidade de dados, por sua vez, mostrou-se eficaz para a transferência de conhecimento para mundos relacionados, embora com ganhos limitados em ambientes muito distintos.
Em relação ao tamanho do modelo, modelos maiores demonstraram maior eficiência de dados. Contudo, quando treinados em um único mundo, esses modelos maiores generalizaram pior para mundos distantes. Isso sugere uma complexidade na relação entre a capacidade do modelo e sua adaptabilidade a cenários radicalmente diferentes.
Os pesquisadores também identificaram duas fases distintas no processo de aprendizado. Uma fase inicial, que chamaram de "interface", onde os benefícios do pré-treinamento se estendiam amplamente por diversos mundos. E uma fase posterior, denominada "mundo", onde os ganhos se restringiam mais aos mundos já vistos ou a ambientes muito semelhantes.
Foi possível, inclusive, ajustar uma lei de escala empírica que relaciona a perda de validação ao volume de dados, à diversidade e ao tamanho do modelo. Isso oferece uma ferramenta valiosa para prever e otimizar o treinamento de futuros agentes.
Os modelos desenvolvidos no estudo se mostraram competitivos com especialistas em Minecraft e com modelos de ponta em mundos 3D, apresentando o melhor desempenho em configurações de tempo real. No entanto, o estudo também apontou as limitações da imitação e a persistência de lacunas em mundos distantes. Isso indica que, para construir agentes generalistas verdadeiramente robustos, serão necessárias etapas de treinamento mais ricas e complexas, que vão além do pré-treinamento contínuo.
O que isso muda para você
Para profissionais brasileiros que atuam com desenvolvimento de jogos, simulações ou até mesmo em áreas que utilizam gêmeos digitais e metaversos, esta pesquisa do ArXiv é um farol. Ela destaca a importância estratégica de pensar na diversidade dos dados de treinamento desde o início do projeto. Não basta apenas ter muitos dados; a variedade de cenários e interações é crucial para que um agente de IA seja realmente adaptável e útil em diferentes contextos.
Se você está projetando um agente para um ambiente virtual, considere que um modelo maior pode ser mais eficiente com dados, mas pode ter dificuldades em se adaptar a um novo jogo ou simulação se não for exposto a uma ampla gama de experiências durante o treinamento. Isso significa que a curadoria e a mistura de dados de diferentes mundos virtuais podem ser tão importantes quanto a quantidade total de horas de treinamento.
O próximo passo prático é começar a experimentar com a diversidade de dados em seus próprios projetos. Avalie a possibilidade de integrar conjuntos de dados de diferentes jogos ou plataformas de simulação, mesmo que pareçam distantes do seu objetivo principal. Essa abordagem pode ser a chave para construir agentes de IA mais robustos e versáteis, capazes de transitar com fluidez entre os múltiplos mundos virtuais que estão surgindo no cenário tecnológico brasileiro e global.
