A NVIDIA demonstrou o potencial de seus modelos de IA abertos ao criar uma experiência interativa de Halloween, onde uma casa falante recebia os visitantes. Batizado de MonsterHouse, o projeto transformou uma porta de garagem em um personagem rabugento, inspirado em um navio pirata, que interagia com as crianças que pediam doces ou travessuras.
O objetivo era proporcionar uma interação divertida e única, com a casa sendo a anfitriã mal-humorada que distribuía os doces. A solução envolveu dar uma boca à porta da garagem e ensiná-la a reclamar, mas também a se suavizar com a gentileza dos visitantes. Este sistema complexo foi construído sobre o NVIDIA Nemotron Voice Agent, utilizando uma série de modelos de IA para diferentes funções.
Como a IA deu vida à MonsterHouse
O coração do MonsterHouse é o NVIDIA Nemotron Voice Agent, que coordena todas as interações. Para a escuta, o NVIDIA Nemotron 3 ASR (Reconhecimento Automático de Fala) converteu a fala dos visitantes em texto. O modelo `nemotron-speech-streaming-en-0.6b.q8_0.gguf` foi o responsável por essa tarefa crucial, permitindo que a casa "ouvisse" o que era dito.
O "cérebro" por trás das respostas foi o NVIDIA Nemotron 3.5 Bolt E4B 4GB, um modelo de linguagem pequeno e aberto, otimizado para agentes conversacionais. Um adaptador LoRA foi aplicado para infundir a personalidade rabugenta e pirata na casa. Para a voz, o NVIDIA Magpie TTS Zeroshot gerou as respostas faladas a partir de uma pequena amostra de referência do personagem. A animação da boca de madeira foi feita pelo NVIDIA Audio2Face-3D, que transformou a fala em movimentos labiais realistas no Unreal Engine 5.
Além disso, o NVIDIA Nemotron 3 Nano Omni foi utilizado para descrever as fantasias dos visitantes, enquanto o YOLO e o ByteTrack contavam e rastreavam as pessoas. Todo o sistema rodou em uma única estação de trabalho equipada com placas NVIDIA RTX PRO 6000 Blackwell Max-Q e NVIDIA RTX PRO 4000 Blackwell, demonstrando a capacidade de execução local e eficiente dos modelos.
A personalidade e a interação da casa
A criação da boca animada foi uma das partes mais trabalhosas, com as tábuas da porta da garagem se dividindo em lábios irregulares e chamas virtuais iluminando a entrada. O personagem foi projetado para parecer antigo, expressivo e ligeiramente ofendido pela presença dos visitantes. A animação facial foi desenvolvida no Autodesk Maya e exportada para o Unreal Engine, onde os efeitos visuais foram adicionados.
A personalidade da casa foi moldada por uma história de fundo: ela teria sido construída com a madeira de um navio pirata afundado, assombrada por seu passado tempestuoso. Isso justificava suas reclamações náuticas e seu temperamento. A interação seguia um fluxo conversacional: inicialmente, a casa era rude, mas a persistência dos visitantes e o uso de palavras como "por favor" e "obrigado" a suavizavam, garantindo uma despedida calorosa e a entrega de doces.
O Nemotron Voice Agent se destacou ao permitir a escolha de qualquer LLM, e o Bolt E4B foi selecionado por sua capacidade de operar localmente e com um orçamento de memória e computação limitado. Um conjunto de dados de mais de 5.000 conversas multi-turn foi usado para treinar adaptadores LoRA, refinando a personalidade e garantindo respostas coerentes e no tom certo. O Bolt E4B, testado antes de seu lançamento público, provou ser uma escolha robusta e eficiente para a criação de agentes conversacionais interativos.
O que isso muda para você
Este projeto da NVIDIA com o MonsterHouse é um exemplo prático e divertido de como a IA conversacional e os modelos abertos podem ser aplicados em cenários do mundo real, indo além dos chatbots tradicionais. Para profissionais brasileiros, isso sinaliza a crescente acessibilidade e versatilidade das ferramentas de IA para criar experiências imersivas e personalizadas, mesmo com recursos de hardware mais contidos.
A capacidade de rodar modelos complexos em uma única estação de trabalho, como demonstrado, abre portas para desenvolvedores e empresas de menor porte explorarem a IA para interações físicas, marketing experiencial ou até mesmo automação de atendimento com um toque humano. O foco em modelos pequenos e otimizados, como o Bolt E4B, significa que a inovação em IA não está restrita a grandes centros de dados, mas pode ser implementada localmente, com maior controle e privacidade.
O próximo passo concreto para quem atua no mercado brasileiro é explorar as plataformas de modelos abertos e as ferramentas de desenvolvimento de IA, como o Nemotron Voice Agent, para identificar oportunidades de criar interações inovadoras. Pense em como a IA pode transformar a experiência do cliente em lojas físicas, eventos ou até mesmo em produtos domésticos, adicionando uma camada de personalização e engajamento que antes era impensável.
