Ferramentas IA✦ Gerado por IA

Google Lança LiteRT Tensor API: Otimização de Modelos ML On-Device

O Google apresentou a LiteRT Tensor API, uma ferramenta C++ que permite aos desenvolvedores criar e otimizar modelos de aprendizado de máquina para execução direta em dispositivos. Essa novidade promete maior controle e portabilidade, superando desafios de compatibilidade de hardware.

Edição de ·InfoQ AI·6 min de leitura·
CompartilharWhatsAppXLinkedInFacebook
💡

Principal Aprendizado

A LiteRT Tensor API do Google permite construir e otimizar modelos de ML diretamente em C++ para execução on-device, garantindo portabilidade entre CPU, GPU e NPU sem reescrita de código.

O Google acaba de lançar a LiteRT Tensor API, uma interface de programação em C++ leve que promete revolucionar a forma como os desenvolvedores constroem, personalizam e otimizam modelos de aprendizado de máquina para execução diretamente em dispositivos. A novidade, conforme noticiado pela InfoQ, combina a flexibilidade da criação nativa de modelos com uma portabilidade multiplataforma sem precedentes.

Tradicionalmente, a abordagem para obter controle máximo sobre as computações de ML envolvia a escrita manual de código em C++. No entanto, essa prática vinha com uma desvantagem significativa: as implementações ficavam rigidamente ligadas a backends específicos, como Metal, OpenCL ou Vulkan, exigindo reescritas completas para cada novo hardware. Além disso, gerenciar a interoperabilidade de buffers sem cópia e a sincronização entre CPU, GPU e NPU, enquanto se conectavam pré-processamento, inferência e pós-processamento, demandava um esforço de engenharia manual considerável.

A LiteRT Tensor API surge para resolver esses gargalos. Ela permite que os desenvolvedores construam grafos de computação operação por operação em C++, oferecendo um controle aprimorado sobre a arquitetura do modelo, otimização e execução do acelerador. O grande diferencial é que esses mesmos grafos podem ser executados via LiteRT em hardware de CPU, GPU e NPU sem a necessidade de reescrever o código para cada plataforma.

Controle e Eficiência Aprimorados

Além de proporcionar controle total sobre os grafos do modelo, a API oferece outras capacidades importantes. Uma delas é a ingestão direta de pesos, permitindo que os desenvolvedores carreguem pesos diretamente de checkpoints, incluindo arquivos `.safetensors` do Hugging Face. Outro recurso crucial é a interoperabilidade de buffers sem cópia, que elimina a necessidade de copiar buffers do acelerador entre as etapas de pré-processamento, inferência e pós-processamento, otimizando o desempenho.

A compatibilidade com agentes de codificação de IA é outro ponto forte. Esses agentes podem construir, modificar, validar e comparar grafos de modelo gerando código C++. O Google, inclusive, utilizou um agente de codificação para criar um aplicativo real que demonstra o uso da LiteRT Tensor API para segmentação e rastreamento de múltiplos objetos. Este aplicativo serviu também como base para comparar o desempenho entre plataformas.

Em testes realizados, o mesmo código C++ para o modelo SAM 2 foi executado em GPUs de três dispositivos: um laptop macOS (Metal), um telefone iOS (Metal) e um telefone Android (OpenCL). No MacBook Pro, a execução foi cerca de 1,5 vezes mais rápida que o Apple MLX (fp16, codificador de imagem mais decodificador de máscara), conforme relatado pela InfoQ. O Google destacou que o agente de codificação conseguiu realizar diversas otimizações graças à definição do grafo do modelo em C++ puro. Isso incluiu mover decisões por quadro do SAM 2, como a visibilidade de um objeto, do código da CPU para o grafo, e reescrever operações que causavam fallback da CPU no WebGPU usando aritmética compatível com GPU.

Laurence Moroney, diretor de IA da Arm, comentou no LinkedIn que os desenvolvedores devem começar com a conversão de modelos e recorrer à API C++ apenas quando precisarem de controle no nível do grafo ou desejarem que o pré e pós-processamento permaneçam no acelerador. Ele também ressaltou os benefícios de definir grafos de modelo em C++ puro, mencionando que a capacidade de ir de menos de 10 para mais de 30 quadros por segundo em 512x512 no WebGPU, com um agente de codificação iterando, demonstra o quanto as primitivas estruturadas ajudam os agentes a realizar otimizações reais. O Google já planeja melhorias, como suporte direto a backend ML Drift, operações adicionais amigáveis a NPU, quantização automática de grafo completo e expansão de formas dinâmicas para diferentes tamanhos de imagem, tamanhos de lote e comprimentos de sequência.

O que isso muda para você

Para profissionais brasileiros que atuam com desenvolvimento de IA, a LiteRT Tensor API do Google representa um avanço significativo na otimização de modelos para dispositivos. A capacidade de ter controle granular sobre o grafo do modelo em C++ e a portabilidade entre diferentes hardwares (CPU, GPU, NPU) sem reescrita de código podem reduzir drasticamente o tempo e o esforço de engenharia, acelerando a implantação de soluções de IA em produtos e serviços.

Isso significa que você poderá desenvolver aplicações de IA mais eficientes e com melhor desempenho em dispositivos móveis e embarcados, um mercado em constante crescimento no Brasil. A compatibilidade com agentes de codificação também aponta para um futuro onde a otimização de modelos será cada vez mais automatizada, liberando os desenvolvedores para focar em desafios mais complexos. O próximo passo concreto é explorar a documentação da LiteRT Tensor API assim que estiver amplamente disponível e considerar sua aplicação em projetos que demandem alta performance on-device, especialmente aqueles com restrições de hardware ou que visam mercados de massa com dispositivos variados.

📰 Com base em reportagem de InfoQ AI. Texto produzido com apoio de inteligência artificial, com curadoria e edição de Robson Benfica Conceição, com análise própria do que a notícia muda para quem trabalha no Brasil. Veja como produzimos.

📬 Newsletter Gratuita

As principais notícias de IA do dia, curadas por Robson Conceição. Grátis, todo dia no seu e-mail.

Gostou do conteúdo?

Compartilhe com quem também quer entender IA no trabalho.

CompartilharWhatsAppXLinkedInFacebook

Leia também