A busca em linguagem natural, que permite aos usuários descreverem suas preferências de forma intuitiva, como "cabana romântica perto de esqui" ou "casa de praia que aceita animais e acomoda oito", é um recurso cada vez mais valorizado. No entanto, treinar esses sistemas apresenta desafios consideráveis, especialmente na fase inicial, quando há poucos dados reais de interação. O Airbnb, conforme reportado pela InfoQ, introduziu o CASTLE, uma estrutura inovadora para enfrentar essa questão.
Tradicionalmente, a criação de modelos de busca em linguagem natural enfrenta duas barreiras principais: a geração de consultas que realmente espelham o comportamento do usuário e a atribuição de rótulos de relevância precisos para cada listagem. Métodos anteriores, como InPars e Promptagator, tratavam a geração de consultas e a rotulagem de relevância como tarefas separadas, o que podia introduzir erros e divergências entre as consultas sintéticas e as reais.
Como o CASTLE Supera o Desafio do "Cold-Start"
O CASTLE se diferencia ao usar sessões de reserva desidentificadas para gerar pares de listagens contrastantes. Quando um hóspede reserva uma propriedade após visualizar várias opções, a listagem escolhida torna-se um exemplo positivo, enquanto uma propriedade visualizada, mas não reservada, serve como exemplo negativo. Um LLM é então instruído a gerar uma consulta que corresponda à listagem positiva, mas não à negativa. Esse processo permite que os rótulos de relevância sejam estabelecidos durante a própria construção da consulta, eliminando a necessidade de uma etapa de avaliação separada.
A estrutura incorpora três estratégias de geração de consultas: prompts baseados em modelos, prompts "few-shot" (usando cerca de 500 consultas iniciais coletadas por pesquisa de usuário) e prompts focados em atributos distintivos das listagens. Um mecanismo de variação também incentiva a diversidade no comprimento e na formulação das consultas. Para listagens sem histórico de reservas suficiente, como propriedades recém-adicionadas, o CASTLE emprega um "Juiz Virtual", um avaliador baseado em LLM que atribui rótulos de relevância a pares adicionais de consulta-listagem. Há também o CASTLE-R, uma variante projetada para ambientes de produção onde o tráfego de busca real já começou a se acumular.
Resultados Promissores e Discussões na Comunidade
Os resultados da avaliação do CASTLE são notáveis. A estrutura alcançou uma divergência Kullback–Leibler (KL) de 1,01 em relação às distribuições de consultas de usuários reais, uma redução de 9,2 vezes em comparação com o melhor modelo de linha de base, o Promptagator, que registrou 9,33. No nível de tipo de atributo, o CASTLE obteve uma divergência KL de 0,08, superando as consultas iniciais de pesquisa manual, que tiveram 0,09. Além disso, uma avaliação humana com três especialistas independentes mostrou um alto nível de concordância (91% a 93%) com as atribuições de relevância do CASTLE.
A metodologia de avaliação gerou discussões na comunidade de IA, como a levantada por Mark Tsai, engenheiro de IA, sobre a possível sobreposição entre dados de treinamento e avaliação. Wendy Ran Wei, autora do artigo, esclareceu que a equipe avaliou o modelo com consultas reais intocadas e implementou salvaguardas contra vazamentos na construção dos conjuntos de avaliação. Ela também indicou que uma comparação controlada entre divisões aleatórias e divisões mais rigorosas com modelos de sementes e IDs de listagem disjuntos é uma área para futuras investigações, conforme a InfoQ.
O que isso muda para você
Para profissionais brasileiros que atuam com IA, desenvolvimento de produtos ou e-commerce, a abordagem do Airbnb com o CASTLE representa um avanço significativo. Ela demonstra como é possível acelerar o desenvolvimento de funcionalidades de busca sofisticadas, mesmo em cenários de "cold-start", onde a falta de dados reais costuma ser um gargalo. Isso significa que empresas podem lançar produtos com busca em linguagem natural mais rapidamente e com maior precisão inicial, sem depender de um longo período de coleta de dados de usuários.
O uso de dados sintéticos gerados por LLMs, combinado com a lógica de pares contrastantes de listagens, oferece um modelo para criar conjuntos de dados de treinamento robustos e relevantes. Para o mercado brasileiro, que muitas vezes enfrenta desafios na coleta de grandes volumes de dados de alta qualidade, essa metodologia pode ser um divisor de águas. Considere explorar a aplicação de técnicas semelhantes para pré-treinar seus próprios modelos de busca ou recomendação, utilizando dados internos desidentificados e LLMs para simular interações de usuários e gerar dados sintéticos que impulsionem a inovação em seus produtos.
