A paisagem da inteligência artificial está em constante evolução, com novos modelos surgindo rapidamente, arquiteturas cada vez mais diversas e padrões de tráfego que mudam a todo momento. Esse dinamismo impõe um desafio significativo: como otimizar continuamente as cargas de trabalho de IA para garantir desempenho máximo?
É nesse cenário que surge o Together Compiler (TKCC), uma solução inovadora desenvolvida para enfrentar a otimização contínua na inferência de IA. O TKCC é descrito como o primeiro sistema de otimização verdadeiramente contínua, projetado especificamente para a inferência de inteligência artificial, utilizando um ciclo de agente que se adapta em tempo real.
Superando os desafios da otimização contínua
Sistemas de otimização existentes enfrentam um dilema: a dificuldade em equilibrar a taxa de medição com a fidelidade dos resultados. Muitos utilizam agentes para otimizar partes específicas do processo de inferência, como kernels individuais, por meio de benchmarks offline. Contudo, essas medições podem ter baixa fidelidade, especialmente em comportamentos dependentes de dados, como os encontrados em modelos com Mixture-of-Experts (MoE).
Por outro lado, sistemas que otimizam motores de ponta a ponta diretamente, embora ofereçam maior fidelidade, sofrem com tempos de inicialização lentos. O TKCC aborda essa questão com duas inovações principais: um Motor Persistente em Camadas, que separa os custos de inicialização do motor do cálculo de passagem direta, e um modelo de custo que seleciona as configurações de paralelismo ideais para iniciar o processo de otimização.
Desempenho e aplicação em larga escala
Os resultados do TKCC são notáveis. Em testes, ele superou megakernels otimizados manualmente em até 1,7 vezes na carga de trabalho Llama 1B. Além disso, o compilador demonstrou ser até 2,6 vezes mais rápido em TPS (Transações por Segundo) do que os melhores motores de código aberto em modelos de ponta como Kimi K3, GLM 5.3, MiniMax M3.1 Flash e DeepSeek v4.1 Flash, em diversas plataformas de hardware, conforme o benchmark InferenceX.
O TKCC também estabeleceu um novo recorde de desempenho para tamanho de lote 1, atingindo 1111 TPS no M3.1 Flash e 1205 TPS no DeepSeek v4.1 Flash. Sua capacidade de generalização vai além da inferência de modelos de linguagem de fronteira, sendo capaz de processar trilhões de tokens em ambientes de produção. Essas conquistas demonstram a eficácia do TKCC em otimizar a inferência de IA em cenários de produção exigentes, onde a velocidade e a eficiência são cruciais.
O que isso muda para você
Para profissionais brasileiros que trabalham com desenvolvimento e implantação de IA, o surgimento do Together Compiler representa um avanço significativo. A capacidade de otimizar continuamente a inferência de modelos, mesmo diante de mudanças rápidas em arquiteturas e padrões de tráfego, significa que suas aplicações de IA podem se tornar mais eficientes e responsivas, reduzindo custos operacionais e melhorando a experiência do usuário final.
Isso implica que a barreira para manter modelos de IA de ponta em produção, com desempenho otimizado, pode ser reduzida. Você poderá focar mais na inovação e menos na complexidade de ajustar manualmente os sistemas para cada nova versão de modelo ou alteração de carga. O próximo passo concreto é explorar como essa tecnologia pode ser integrada em suas pipelines de MLOps, buscando plataformas que incorporem ou permitam a implementação de abordagens de otimização contínua como a do TKCC.


