Pesquisa em IA✦ Gerado por IA

Algoritmo de agendamento do vLLM aumenta desempenho em 2,91 vezes

Novo teste isolou os componentes do vLLM para medir o ganho real do agendamento contínuo em servidores de inferência de inteligência artificial. O agendamento sozinho elevou o processamento em quase três vezes.

Edição de ·Towards Data Science·4 min de leitura·
CompartilharWhatsAppXLinkedInFacebook
💡

Principal Aprendizado

O agendamento contínuo isolado no vLLM garante um ganho de desempenho de até 2,91 vezes ao preencher vagas ociosas nas etapas de decodificação.

O uso de agendamento contínuo em servidores de inferência de inteligência artificial pode elevar a taxa de processamento de dados em até 2,91 vezes apenas ao gerenciar o momento de entrada de novas requisições. A medição foi realizada pelo Towards Data Science ao isolar o agendador de tarefas em um único processador gráfico, desmembrando alegações de mercado que chegam a prometer ganhos de 23 vezes ao somar múltiplos componentes de otimização.

Historicamente, a métrica de até 23 vezes divulgada pela Anyscale combina três fatores distintos: um mecanismo de execução mais rápido, um gerenciador de memória KV-cache aprimorado e o agendador do vLLM. Ao transformar o agendador na única variável do teste, a pesquisa demonstrou que o ganho do motor de execução foi de 1,33 vez, enquanto o agendador isolado alcançou o fator de 2,91 vezes. O ganho total da transição de uma biblioteca comum para a estrutura completa do vLLM ficou em 3,86 vezes no hardware avaliado.

Como funciona a etapa de decodificação na GPU

Para entender a origem dessa eficiência, o estudo dividiu a geração de modelos de linguagem em duas etapas: pré-preenchimento e decodificação. O pré-preenchimento lê as instruções em uma única passagem e exige grande volume de cálculo computacional. Já a decodificação produz um símbolo por vez por sequência e precisa reler todos os pesos do modelo a cada passo realizado.

No teste com o modelo Qwen2.5-7B-Instruct em formato de 16 bits, foram lidos 15.2 gigabytes de pesos a cada etapa. A memória da placa gráfica atingiu uma taxa teórica de 55,7 milissegundos por passo, registrando 78,05 milissegundos na prática com um lote de apenas uma requisição. Quando o tamanho do lote foi ampliado de 1 para 32 requisições, o tempo médio por passo permaneceu praticamente estável em 74,77 milissegundos, enquanto a vazão total de símbolos por segundo aumentou 26,7 vezes.

Essa dinâmica ocorre porque a leitura dos pesos da memória consome um tempo fixo independentemente do lote estar ocupado por uma ou por 32 sequências. No entanto, o tempo de espera do usuário até a geração do primeiro símbolo subiu de 121 milissegundos para 2,8 segundos no lote maior. Isso causou uma queda de 16% na taxa efetiva individual de geração por sequência devido ao atraso inicial da fila.

A variação de tamanho das respostas

O fator determinante para a eficácia do agendamento contínuo é a variação no tamanho das respostas geradas. Quando todas as requisições terminam ao mesmo tempo em um teste de controle, o ganho do agendador é exatamente nulo, registrando 1,00 vez nas medições.

Por outro lado, quando as respostas possuem tamanhos variados e terminam em momentos diferentes, o agendamento dinâmico consegue preencher os espaços vagos do lote imediatamente com novas chamadas da fila. Isso elimina o tempo ocioso da placa gráfica e reaproveita a leitura dos pesos de memória que já seria realizada obrigatoriamente a cada passo.

O que isso muda para você

Para desenvolvedores, arquitetos de software e líderes de tecnologia no Brasil, a medição do Towards Data Science desmistifica os números inflados de marketing sobre infraestrutura de IA. Entender que o agendador responde por um ganho de quase três vezes isoladamente permite tomar decisões mais precisas sobre qual camada da sua pilha de tecnologia precisa de otimização urgente.

Ao dimensionar servidores para produtos baseados em modelos de linguagem, a escolha do mecanismo de inferência não deve focar apenas no poder bruto da GPU, mas na forma como o sistema lida com a variabilidade das respostas dos usuários. Se a sua aplicação lida com tarefas de tamanhos imprevisíveis, implementar soluções com agendamento contínuo como o vLLM é o caminho mais rápido para reduzir custos de infraestrutura sem trocar de hardware.

O próximo passo prático para a sua equipe é auditando a ociosidade dos lotes de inferência atuais. Avalie o perfil das requisições do seu sistema: se houver grande discrepância no tamanho dos textos gerados, a migração para um agendador dinâmico trará retorno imediato no tempo de resposta e no orçamento de nuvem.

📰 Com base em reportagem de Towards Data Science. Texto produzido com apoio de inteligência artificial, com curadoria e edição de Robson Benfica Conceição, com análise própria do que a notícia muda para quem trabalha no Brasil. Veja como produzimos.

📬 Newsletter Gratuita

As principais notícias de IA do dia, curadas por Robson Conceição. Grátis, todo dia no seu e-mail.

Gostou do conteúdo?

Compartilhe com quem também quer entender IA no trabalho.

CompartilharWhatsAppXLinkedInFacebook

Leia também