Modelos LLM✦ Gerado por IA

LinkedIn Otimiza LLMs para Busca e Recomendação com Baixa Latência

O LinkedIn está na vanguarda da otimização de Modelos de Linguagem Grandes (LLMs) para sistemas de busca e recomendação, enfrentando o desafio de latência crítica. A empresa conseguiu reduzir um modelo de 7 bilhões para 400 milhões de parâmetros, aumentando o rendimento em dez vezes.

Edição de ·InfoQ AI·5 min de leitura·
CompartilharWhatsAppXLinkedInFacebook
💡

Principal Aprendizado

O LinkedIn otimizou LLMs para busca e recomendação, reduzindo um modelo de 7 bilhões para 400 milhões de parâmetros e aumentando o rendimento em dez vezes para atender a rigorosos SLAs de latência.

A plataforma LinkedIn, com seus 1,3 bilhão de membros em 200 países, opera em uma escala massiva, especialmente em seus sistemas de busca e recomendação. Com a evolução das buscas de palavras-chave para linguagem natural, a necessidade de LLMs para entender a intenção do usuário tornou-se crucial. No entanto, integrar LLMs em sistemas de ranking já complexos adiciona uma camada extra de desafios, especialmente no que diz respeito à latência.

Sundara Raman Ramachandran, engenheiro líder da equipe de inferência de LLM do LinkedIn, compartilhou como a empresa está superando esses obstáculos. O foco principal é a otimização de LLMs para operar sob rigorosos Acordos de Nível de Serviço (SLAs) de latência P99, garantindo que a maioria das solicitações seja processada em tempo hábil. Isso é vital para a experiência do usuário, que espera resultados rápidos e relevantes ao procurar empregos ou conexões.

A Arquitetura por Trás da Busca com LLMs

A jornada de uma consulta de busca no LinkedIn começa com a camada de compreensão da consulta, que decifra a intenção do usuário a partir de textos em linguagem natural. Por exemplo, uma busca como "encontrar vagas de designer na indústria do entretenimento" é transformada em um formato estruturado que os sistemas subsequentes podem processar. Esta camada utiliza um planejador de consulta para identificar critérios de busca e um tagger de consulta para enriquecer a busca com informações do perfil do membro, como cargo e localização.

Em seguida, a camada de recuperação entra em ação, filtrando milhões de vagas para identificar as mais relevantes para a consulta. Finalmente, a camada de ranking organiza esses resultados na ordem ideal para apresentação ao usuário. É nesta camada de ranking que os LLMs desempenham um papel fundamental, mas também onde os maiores desafios de desempenho surgem devido à sua complexidade computacional.

Estratégias de Otimização e Ganhos de Desempenho

Para lidar com a latência e o alto rendimento, o LinkedIn implementou várias estratégias inovadoras. Uma das mais notáveis foi a destilação de um modelo de 7 bilhões de parâmetros para um modelo muito menor, de 400 milhões de parâmetros. Essa redução massiva permite que o modelo seja executado de forma mais eficiente sem comprometer significativamente a qualidade dos resultados.

Além da destilação do modelo, a equipe de engenharia do LinkedIn também comprimiu contextos de vagas em embeddings de token único. Essa técnica resultou em um aumento de dez vezes no rendimento, um avanço significativo para sistemas que operam em escala global. A eliminação de gargalos ocultos no sistema também foi crucial, com a implementação de máscaras de atenção flash personalizadas, soluções alternativas para o Python GIL (Global Interpreter Lock), o uso de `gc.freeze` e cópias de memória CUDA não bloqueadoras. Essas otimizações de baixo nível são essenciais para garantir que a infraestrutura de inferência de LLM opere de forma confiável e eficiente.

O que isso muda para você

Para profissionais brasileiros que trabalham com IA, desenvolvimento de software ou engenharia de dados, as inovações do LinkedIn oferecem lições valiosas. A capacidade de destilar modelos grandes em versões menores e mais eficientes, como a redução de 7 bilhões para 400 milhões de parâmetros, demonstra que a otimização de recursos é tão importante quanto a capacidade bruta do modelo. Isso significa que, mesmo com orçamentos limitados, é possível implementar soluções de IA robustas, focando na eficiência e na adaptação dos modelos às necessidades específicas do seu negócio.

A ênfase na eliminação de gargalos de sistema e na otimização de baixo nível, como as técnicas de memória e processamento, ressalta a importância de uma compreensão profunda da infraestrutura. Não basta apenas escolher o melhor LLM; é preciso saber como fazê-lo rodar de forma eficiente em produção. Para o mercado brasileiro, que busca competitividade, a aplicação dessas estratégias pode significar a diferença entre um projeto de IA que escala e um que fica preso em desafios de desempenho. O próximo passo concreto é explorar ferramentas e técnicas de otimização de modelos e infraestrutura, como a quantização e a poda, para adaptar LLMs a ambientes com restrições de latência e custo.

📰 Com base em reportagem de InfoQ AI. Texto produzido com apoio de inteligência artificial, com curadoria e edição de Robson Benfica Conceição, com análise própria do que a notícia muda para quem trabalha no Brasil. Veja como produzimos.

📬 Newsletter Gratuita

As principais notícias de IA do dia, curadas por Robson Conceição. Grátis, todo dia no seu e-mail.

Gostou do conteúdo?

Compartilhe com quem também quer entender IA no trabalho.

CompartilharWhatsAppXLinkedInFacebook

Leia também