A comunidade de Inteligência Artificial e bancos de dados está atenta a uma novidade que promete otimizar a forma como lidamos com buscas vetoriais. A Tiger Data, conhecida por sua extensão TimescaleDB, lançou o pg_vectorsearch, uma extensão de código aberto para PostgreSQL que visa tornar a busca de similaridade vetorial mais escalável e eficiente.
Atualmente em fase alfa, o pg_vectorsearch introduz um novo índice chamado PRISM. Diferente da abordagem baseada em grafos do índice HNSW (Hierarchical Navigable Small World) do pgvector, o PRISM utiliza particionamento e compressão de dados. Essa mudança arquitetônica resulta em requisitos de memória significativamente menores e tempos de construção de índice mais rápidos, conforme apontado pela InfoQ.
Uma Nova Abordagem para a Busca Vetorial
A principal inovação do pg_vectorsearch reside em seu índice PRISM. Enquanto o HNSW conecta vetores a seus vizinhos em um grafo, o PRISM agrupa vetores semelhantes em partições e os armazena de forma compactada. Essa estratégia reduz o tamanho do índice e evita acessos aleatórios caros à memória ou disco, permitindo buscas vetoriais mais rápidas com menos RAM diretamente no PostgreSQL.
Os autores da Tiger Data destacam que o PRISM adota uma abordagem baseada em partições, similar à utilizada por sistemas de busca vetorial dedicados mais recentes. Isso significa que, em vez de uma busca abrangente, o PRISM restringe as buscas a partições relevantes e escaneia vetores compactados sequencialmente. Essa otimização é crucial para lidar com grandes conjuntos de dados vetoriais sem a necessidade de infraestrutura adicional complexa.
Em testes internos da Tiger Data, o PRISM demonstrou um desempenho impressionante. Para 100 milhões de vetores, o PRISM construiu um índice em 1 hora e 40 minutos usando uma máquina com 128 GB de memória. Em contraste, o HNSW levou 42 horas em uma máquina com 512 GB de memória. Esses números, embora ainda não validados independentemente, sugerem um salto significativo em eficiência.
Impacto e Perspectivas para Desenvolvedores
O pg_vectorsearch é compatível com colunas pgvector existentes, o que facilita a transição para aplicações que já utilizam a busca vetorial. Para aproveitar as novas capacidades, os desenvolvedores precisam instalar a extensão e criar um índice PRISM na coluna vetorial. A extensão requer PostgreSQL 18 ou superior e suporta vetores com até 1968 dimensões.
Michael Freedman, cofundador e CTO da Tiger Data, detalhou a arquitetura do índice PRISM, que combina clustering hierárquico para refinar o espaço de busca, vetores compactados para varredura sequencial eficiente e quantização RaBitQ para reduzir cálculos de distância. Ele também mencionou que a rebalanceamento incremental ainda não está totalmente implementado, o que pode exigir a reconstrução do índice em caso de mudanças frequentes nos dados para manter a eficiência da busca.
A recepção inicial na comunidade, conforme a InfoQ, é de interesse técnico, mas com cautela. Profissionais veem grande potencial na busca vetorial mais rápida e com menores requisitos de memória dentro do PostgreSQL, especialmente para aplicações RAG (Retrieval Augmented Generation) com orçamentos apertados. A possibilidade de realizar buscas sem um banco de dados vetorial separado ou um servidor maior representa uma economia significativa. No entanto, há questionamentos sobre a validação independente dos benchmarks e a falta de suporte para buscas filtradas, que não estarão disponíveis até a versão de disponibilidade geral. A Tiger Data planeja mover sua extensão pgvectorscale existente para o modo de manutenção, indicando um foco no pg_vectorsearch.
O que isso muda para você
Para profissionais brasileiros que trabalham com desenvolvimento de aplicações baseadas em IA, especialmente aquelas que utilizam o PostgreSQL e precisam de busca de similaridade vetorial, o pg_vectorsearch representa uma oportunidade de otimização considerável. A promessa de buscas mais rápidas e com menor consumo de memória diretamente no banco de dados pode simplificar a arquitetura de sistemas e reduzir custos de infraestrutura.
Se você está construindo ou mantendo aplicações RAG ou sistemas que dependem de embeddings, esta extensão pode eliminar a necessidade de um banco de dados vetorial separado, consolidando sua pilha tecnológica. Embora ainda em fase alfa, é crucial acompanhar seu desenvolvimento. Comece a explorar a documentação e o código no GitHub para entender como ele pode se integrar aos seus projetos futuros, preparando-se para quando a versão estável for lançada e as funcionalidades como buscas filtradas estiverem disponíveis. Isso pode ser um diferencial competitivo importante para a eficiência e escalabilidade de suas soluções de IA.

