Pesquisa em IA✦ Gerado por IA

Airbnb lança CASTLE para treinar busca em linguagem natural com dados sintéticos

O Airbnb apresentou o CASTLE, uma nova estrutura que utiliza dados sintéticos e modelos de linguagem grandes (LLMs) para aprimorar a busca em linguagem natural. A inovação visa superar o desafio do "cold-start" em sistemas de busca, permitindo o treinamento de modelos antes mesmo de haver um volume significativo de dados reais de usuários.

Edição de ·InfoQ AI·6 min de leitura·
CompartilharWhatsAppXLinkedInFacebook
💡

Principal Aprendizado

O Airbnb desenvolveu o CASTLE, uma estrutura que utiliza LLMs e dados sintéticos de sessões de reserva para treinar modelos de busca em linguagem natural, superando o desafio do "cold-start" e gerando consultas mais relevantes.

A busca em linguagem natural, que permite aos usuários descreverem suas preferências de forma intuitiva, como "cabana romântica perto de esqui" ou "casa de praia que aceita animais e acomoda oito", é um recurso cada vez mais valorizado. No entanto, treinar esses sistemas apresenta desafios consideráveis, especialmente na fase inicial, quando há poucos dados reais de interação. O Airbnb, conforme reportado pela InfoQ, introduziu o CASTLE, uma estrutura inovadora para enfrentar essa questão.

Tradicionalmente, a criação de modelos de busca em linguagem natural enfrenta duas barreiras principais: a geração de consultas que realmente espelham o comportamento do usuário e a atribuição de rótulos de relevância precisos para cada listagem. Métodos anteriores, como InPars e Promptagator, tratavam a geração de consultas e a rotulagem de relevância como tarefas separadas, o que podia introduzir erros e divergências entre as consultas sintéticas e as reais.

Como o CASTLE Supera o Desafio do "Cold-Start"

O CASTLE se diferencia ao usar sessões de reserva desidentificadas para gerar pares de listagens contrastantes. Quando um hóspede reserva uma propriedade após visualizar várias opções, a listagem escolhida torna-se um exemplo positivo, enquanto uma propriedade visualizada, mas não reservada, serve como exemplo negativo. Um LLM é então instruído a gerar uma consulta que corresponda à listagem positiva, mas não à negativa. Esse processo permite que os rótulos de relevância sejam estabelecidos durante a própria construção da consulta, eliminando a necessidade de uma etapa de avaliação separada.

A estrutura incorpora três estratégias de geração de consultas: prompts baseados em modelos, prompts "few-shot" (usando cerca de 500 consultas iniciais coletadas por pesquisa de usuário) e prompts focados em atributos distintivos das listagens. Um mecanismo de variação também incentiva a diversidade no comprimento e na formulação das consultas. Para listagens sem histórico de reservas suficiente, como propriedades recém-adicionadas, o CASTLE emprega um "Juiz Virtual", um avaliador baseado em LLM que atribui rótulos de relevância a pares adicionais de consulta-listagem. Há também o CASTLE-R, uma variante projetada para ambientes de produção onde o tráfego de busca real já começou a se acumular.

Resultados Promissores e Discussões na Comunidade

Os resultados da avaliação do CASTLE são notáveis. A estrutura alcançou uma divergência Kullback–Leibler (KL) de 1,01 em relação às distribuições de consultas de usuários reais, uma redução de 9,2 vezes em comparação com o melhor modelo de linha de base, o Promptagator, que registrou 9,33. No nível de tipo de atributo, o CASTLE obteve uma divergência KL de 0,08, superando as consultas iniciais de pesquisa manual, que tiveram 0,09. Além disso, uma avaliação humana com três especialistas independentes mostrou um alto nível de concordância (91% a 93%) com as atribuições de relevância do CASTLE.

A metodologia de avaliação gerou discussões na comunidade de IA, como a levantada por Mark Tsai, engenheiro de IA, sobre a possível sobreposição entre dados de treinamento e avaliação. Wendy Ran Wei, autora do artigo, esclareceu que a equipe avaliou o modelo com consultas reais intocadas e implementou salvaguardas contra vazamentos na construção dos conjuntos de avaliação. Ela também indicou que uma comparação controlada entre divisões aleatórias e divisões mais rigorosas com modelos de sementes e IDs de listagem disjuntos é uma área para futuras investigações, conforme a InfoQ.

O que isso muda para você

Para profissionais brasileiros que atuam com IA, desenvolvimento de produtos ou e-commerce, a abordagem do Airbnb com o CASTLE representa um avanço significativo. Ela demonstra como é possível acelerar o desenvolvimento de funcionalidades de busca sofisticadas, mesmo em cenários de "cold-start", onde a falta de dados reais costuma ser um gargalo. Isso significa que empresas podem lançar produtos com busca em linguagem natural mais rapidamente e com maior precisão inicial, sem depender de um longo período de coleta de dados de usuários.

O uso de dados sintéticos gerados por LLMs, combinado com a lógica de pares contrastantes de listagens, oferece um modelo para criar conjuntos de dados de treinamento robustos e relevantes. Para o mercado brasileiro, que muitas vezes enfrenta desafios na coleta de grandes volumes de dados de alta qualidade, essa metodologia pode ser um divisor de águas. Considere explorar a aplicação de técnicas semelhantes para pré-treinar seus próprios modelos de busca ou recomendação, utilizando dados internos desidentificados e LLMs para simular interações de usuários e gerar dados sintéticos que impulsionem a inovação em seus produtos.

📰 Com base em reportagem de InfoQ AI. Texto produzido com apoio de inteligência artificial, com curadoria e edição de Robson Benfica Conceição, com análise própria do que a notícia muda para quem trabalha no Brasil. Veja como produzimos.

📬 Newsletter Gratuita

As principais notícias de IA do dia, curadas por Robson Conceição. Grátis, todo dia no seu e-mail.

Gostou do conteúdo?

Compartilhe com quem também quer entender IA no trabalho.

CompartilharWhatsAppXLinkedInFacebook

Leia também