Ferramentas IA✦ Gerado por IA

pg_vectorsearch: Busca Vetorial Escalável Chega ao PostgreSQL

Uma nova extensão de código aberto, pg_vectorsearch, promete revolucionar a busca vetorial no PostgreSQL. Desenvolvida pela Tiger Data, ela oferece uma alternativa mais rápida e eficiente em memória ao pgvector, integrando a funcionalidade diretamente ao banco de dados.

Edição de ·InfoQ AI·6 min de leitura·
CompartilharWhatsAppXLinkedInFacebook
💡

Principal Aprendizado

O pg_vectorsearch oferece busca vetorial mais rápida e eficiente em memória diretamente no PostgreSQL, reduzindo a necessidade de infraestrutura separada.

A comunidade de Inteligência Artificial e bancos de dados está atenta a uma novidade que promete otimizar a forma como lidamos com buscas vetoriais. A Tiger Data, conhecida por sua extensão TimescaleDB, lançou o pg_vectorsearch, uma extensão de código aberto para PostgreSQL que visa tornar a busca de similaridade vetorial mais escalável e eficiente.

Atualmente em fase alfa, o pg_vectorsearch introduz um novo índice chamado PRISM. Diferente da abordagem baseada em grafos do índice HNSW (Hierarchical Navigable Small World) do pgvector, o PRISM utiliza particionamento e compressão de dados. Essa mudança arquitetônica resulta em requisitos de memória significativamente menores e tempos de construção de índice mais rápidos, conforme apontado pela InfoQ.

Uma Nova Abordagem para a Busca Vetorial

A principal inovação do pg_vectorsearch reside em seu índice PRISM. Enquanto o HNSW conecta vetores a seus vizinhos em um grafo, o PRISM agrupa vetores semelhantes em partições e os armazena de forma compactada. Essa estratégia reduz o tamanho do índice e evita acessos aleatórios caros à memória ou disco, permitindo buscas vetoriais mais rápidas com menos RAM diretamente no PostgreSQL.

Os autores da Tiger Data destacam que o PRISM adota uma abordagem baseada em partições, similar à utilizada por sistemas de busca vetorial dedicados mais recentes. Isso significa que, em vez de uma busca abrangente, o PRISM restringe as buscas a partições relevantes e escaneia vetores compactados sequencialmente. Essa otimização é crucial para lidar com grandes conjuntos de dados vetoriais sem a necessidade de infraestrutura adicional complexa.

Em testes internos da Tiger Data, o PRISM demonstrou um desempenho impressionante. Para 100 milhões de vetores, o PRISM construiu um índice em 1 hora e 40 minutos usando uma máquina com 128 GB de memória. Em contraste, o HNSW levou 42 horas em uma máquina com 512 GB de memória. Esses números, embora ainda não validados independentemente, sugerem um salto significativo em eficiência.

Impacto e Perspectivas para Desenvolvedores

O pg_vectorsearch é compatível com colunas pgvector existentes, o que facilita a transição para aplicações que já utilizam a busca vetorial. Para aproveitar as novas capacidades, os desenvolvedores precisam instalar a extensão e criar um índice PRISM na coluna vetorial. A extensão requer PostgreSQL 18 ou superior e suporta vetores com até 1968 dimensões.

Michael Freedman, cofundador e CTO da Tiger Data, detalhou a arquitetura do índice PRISM, que combina clustering hierárquico para refinar o espaço de busca, vetores compactados para varredura sequencial eficiente e quantização RaBitQ para reduzir cálculos de distância. Ele também mencionou que a rebalanceamento incremental ainda não está totalmente implementado, o que pode exigir a reconstrução do índice em caso de mudanças frequentes nos dados para manter a eficiência da busca.

A recepção inicial na comunidade, conforme a InfoQ, é de interesse técnico, mas com cautela. Profissionais veem grande potencial na busca vetorial mais rápida e com menores requisitos de memória dentro do PostgreSQL, especialmente para aplicações RAG (Retrieval Augmented Generation) com orçamentos apertados. A possibilidade de realizar buscas sem um banco de dados vetorial separado ou um servidor maior representa uma economia significativa. No entanto, há questionamentos sobre a validação independente dos benchmarks e a falta de suporte para buscas filtradas, que não estarão disponíveis até a versão de disponibilidade geral. A Tiger Data planeja mover sua extensão pgvectorscale existente para o modo de manutenção, indicando um foco no pg_vectorsearch.

O que isso muda para você

Para profissionais brasileiros que trabalham com desenvolvimento de aplicações baseadas em IA, especialmente aquelas que utilizam o PostgreSQL e precisam de busca de similaridade vetorial, o pg_vectorsearch representa uma oportunidade de otimização considerável. A promessa de buscas mais rápidas e com menor consumo de memória diretamente no banco de dados pode simplificar a arquitetura de sistemas e reduzir custos de infraestrutura.

Se você está construindo ou mantendo aplicações RAG ou sistemas que dependem de embeddings, esta extensão pode eliminar a necessidade de um banco de dados vetorial separado, consolidando sua pilha tecnológica. Embora ainda em fase alfa, é crucial acompanhar seu desenvolvimento. Comece a explorar a documentação e o código no GitHub para entender como ele pode se integrar aos seus projetos futuros, preparando-se para quando a versão estável for lançada e as funcionalidades como buscas filtradas estiverem disponíveis. Isso pode ser um diferencial competitivo importante para a eficiência e escalabilidade de suas soluções de IA.

📰 Com base em reportagem de InfoQ AI. Texto produzido com apoio de inteligência artificial, com curadoria e edição de Robson Benfica Conceição, com análise própria do que a notícia muda para quem trabalha no Brasil. Veja como produzimos.

📬 Newsletter Gratuita

As principais notícias de IA do dia, curadas por Robson Conceição. Grátis, todo dia no seu e-mail.

Gostou do conteúdo?

Compartilhe com quem também quer entender IA no trabalho.

CompartilharWhatsAppXLinkedInFacebook

Leia também