Tutoriais✦ Gerado por IA

Hugging Face Otimiza Geração 3D com Fine-Tuning de TRELLIS.2

A Hugging Face lançou um guia detalhado para o fine-tuning do modelo TRELLIS.2, visando aprimorar a geração de objetos 3D. A técnica LoRA é central para adaptar o modelo a tarefas específicas, como aprimorar detalhes geométricos de calçados.

Edição de ·Hugging Face Blog·6 min de leitura·
CompartilharWhatsAppXLinkedInFacebook
💡

Principal Aprendizado

A Hugging Face oferece um guia prático para fine-tuning do modelo TRELLIS.2 usando LoRA, permitindo aprimorar a precisão de detalhes geométricos em objetos 3D para aplicações específicas.

A geração de modelos 3D é um campo em constante evolução, com aplicações cruciais em robótica, simulação, mídia e entretenimento. No entanto, a criação de objetos 3D que sigam regras rigorosas e a padronização de representações de dados sempre foram desafios significativos, dada a multiplicidade de formatos como GLB e PLY, e representações como NeRFs e 3D Gaussian splatting.

Nesse cenário, o modelo TRELLIS surgiu como uma solução inovadora, introduzindo uma representação interna unificada que permite a conversão para diversos formatos de saída. Sua versão aprimorada, TRELLIS.2, melhorou a representação da estrutura 3D, mas ainda carecia de um método fácil para adaptação a tarefas específicas. É aqui que a Hugging Face entra, oferecendo scripts e contêineres para o fine-tuning de TRELLIS.2, permitindo que desenvolvedores e empresas aprimorem a precisão de seus modelos 3D para necessidades particulares.

Aprimorando Detalhes com LoRA e TRELLIS.2

Modelos de propósito geral, como o TRELLIS.2, podem apresentar imprecisões em detalhes cruciais para aplicações específicas. Por exemplo, na geração de modelos de móveis, a geometria precisa é fundamental. Sem um fine-tuning adequado, o modelo pré-treinado pode gerar formas com exatidão insuficiente. Para ilustrar essa necessidade, a Hugging Face realizou um experimento utilizando um subconjunto do dataset Google Scanned Objects (GSO), focado em 188 objetos de calçados. Os testes iniciais com o modelo pré-treinado frequentemente resultavam em sapatos com solas incorretas, apesar da aparência geral estar correta.

O objetivo foi, então, usar o dataset GSO para melhorar o desempenho do TRELLIS.2 em uma categoria específica de objetos. A solução encontrada foi a aplicação de LoRA (low-rank adaptation), uma técnica que permite o fine-tuning de um modelo treinando pequenas matrizes adaptadoras, enquanto os pesos originais permanecem congelados. Isso reduz significativamente o número de parâmetros treináveis e a memória necessária para gradientes e estados do otimizador. A biblioteca PEFT da Hugging Face é utilizada para adicionar e treinar esses adaptadores, focando apenas nos componentes da pipeline que são críticos para a tarefa, como a geração de estrutura esparsa e a geração de geometria detalhada.

Como o Fine-Tuning Funciona na Prática

O processo de fine-tuning do TRELLIS.2 envolve a compreensão de suas cinco etapas principais: remoção de fundo da imagem, codificação da imagem, previsão da estrutura grosseira, geração de geometria detalhada e geração de materiais. A pipeline então exporta o resultado como uma malha texturizada. A Hugging Face optou por adicionar adaptadores LoRA em duas etapas cruciais: a geração de estrutura esparsa (Sparse Structure Flow) e a geração de geometria (Shape Flow).

Na etapa de geração de estrutura esparsa, um transformer de difusão (DiT) prevê a forma grosseira do objeto, criando um latente que é então convertido em uma grade de ocupação. É aqui que os adaptadores LoRA são inseridos, pois a saída desta etapa guia a fase de geometria. Posteriormente, na geração de geometria, outro DiT utiliza a grade de ocupação e os tokens de características da imagem para criar um latente que se transforma em geometria O-Voxel de alta resolução. Esta é a segunda etapa onde os adaptadores LoRA são aplicados, pois ela controla diretamente a forma do objeto. A etapa final de geração de materiais não recebe adaptadores LoRA, pois o foco do experimento era aprimorar a geometria.

Para facilitar esse processo, a Hugging Face oferece scripts e contêineres que podem ser executados tanto localmente quanto na plataforma Hugging Face Jobs, que executa cargas de trabalho em contêineres em hardware de nuvem. Isso democratiza o acesso ao fine-tuning de modelos 3D, permitindo que mais desenvolvedores e pesquisadores personalizem modelos complexos para suas necessidades específicas.

O que isso muda para você

Para profissionais brasileiros que atuam com design 3D, engenharia, jogos ou simulação, a capacidade de realizar fine-tuning em modelos como o TRELLIS.2, conforme detalhado pela Hugging Face, representa um avanço significativo. Isso significa que, em vez de aceitar modelos 3D genéricos com imperfeições, você pode agora refinar a saída para atender a requisitos de precisão específicos, seja para a geometria de um componente industrial ou para o detalhe de um personagem em um jogo. A adoção de LoRA reduz a barreira de entrada, tornando o fine-tuning mais acessível em termos de recursos computacionais.

O impacto direto é a possibilidade de criar ativos 3D de maior qualidade e mais alinhados às suas necessidades, sem a necessidade de treinar um modelo do zero. Isso pode acelerar o ciclo de desenvolvimento, reduzir custos e melhorar a qualidade final dos produtos. O próximo passo concreto é explorar os scripts e contêineres fornecidos pela Hugging Face, talvez começando com um pequeno dataset próprio para experimentar o fine-tuning em uma categoria de objetos relevante para o seu trabalho, e assim, dominar essa técnica para otimizar seus projetos 3D.

📰 Com base em reportagem de Hugging Face Blog. Texto produzido com apoio de inteligência artificial, com curadoria e edição de Robson Benfica Conceição, com análise própria do que a notícia muda para quem trabalha no Brasil. Veja como produzimos.

📬 Newsletter Gratuita

As principais notícias de IA do dia, curadas por Robson Conceição. Grátis, todo dia no seu e-mail.

Gostou do conteúdo?

Compartilhe com quem também quer entender IA no trabalho.

CompartilharWhatsAppXLinkedInFacebook

Leia também