Baze podataka vektora (Pinecone, Qdrant, Weaviate)
Na ovoj stranici
Ciljevi
- Razumjeti zašto su baze podataka vektora nužne
- Usporediti Pinecone, Qdrant, Weaviate, Chroma i pgvector
- Implementirati pretraživanje sa svakim od njih
Zašto baza podataka vektora?
NumPy indeks iz prethodne lekcije savršeno funkcionira za nekoliko tisuća dokumenata jer iscrpno skeniranje deset tisuća vektora ostaje neprimjetno. Kod milijun zapisa, ta ista kalkulacija postaje kašnjenje od jedne sekunde po upitu, a matrica se više ne uklapa udobno u memoriju.
Istovremeno se javljaju četiri potrebe. ANN pretraživanje (Approximate Nearest Neighbors) odriče se garancije točnog rezultata u korist odgovora u milisekundama na milijunima vektora – kompromis koji je gotovo uvijek prihvatljiv, jer vraćanje petog najboljeg dokumenta umjesto četvrtog ništa ne mijenja korisničkom iskustvu. Filtriranje metapodataka u kombinaciji s vektorskim pretraživanjem omogućuje ograničavanje upita na kategoriju, jezik ili raspon datuma bez naknadne obrade. Trajnost i ažuriranja u stvarnom vremenu izbjegavaju ponovnu izgradnju cijele datoteke samo da bi se dodao dokument. Konačno, horizontalno skaliranje je ono što razlikuje prototip od produkcijske usluge.
Pinecone
Pinecone je upravljana usluga: ne provisioniraš servere, stvaraš indeks specificirajući njegovu dimenziju i metriku, a ostalo je riješeno za tebe. Primijeti filtar categorie proslijeđen izravno u query – vektorsko pretraživanje i filtriranje izvršavaju se zajedno, a ne jedno za drugim.
from pinecone import Pinecone
from openai import OpenAI
pc = Pinecone(api_key="your-pinecone-key")
openai_client = OpenAI()
# Create an index
pc.create_index(
name="my-corpus",
dimension=3072,
metric="cosine",
spec={"serverless": {"cloud": "aws", "region": "eu-west-1"}}
)
index = pc.Index("my-corpus")
# Index documents
documents = [
{"id": "doc1", "texte": "Python Installation Guide",
"categorie": "tutorial"},
{"id": "doc2", "texte": "Deploying a Flask Application",
"categorie": "tutorial"},
{"id": "doc3", "texte": "Q1 2026 Quarterly Report",
"categorie": "report"},
]
# Generate embeddings
textes = [d["texte"] for d in documents]
response = openai_client.embeddings.create(
input=textes,
model="text-embedding-3-large"
)
# Upsert into Pinecone
vecteurs = [
{
"id": doc["id"],
"values": emb.embedding,
"metadata": {"texte": doc["texte"], "categorie": doc["categorie"]}
}
for doc, emb in zip(documents, response.data)
]
index.upsert(vectors=vecteurs)
# Search
query_emb = openai_client.embeddings.create(
input="how to install Python",
model="text-embedding-3-large"
).data[0].embedding
resultats = index.query(
vector=query_emb,
top_k=3,
include_metadata=True,
filter={"categorie": {"$eq": "tutorial"}}
)
for match in resultats.matches:
print(f"[{match.score:.3f}] {match.metadata['texte']}")
Dimenzija deklarirana pri stvaranju je konačna: prelazak s text-embedding-3-large na text-embedding-3-small zahtijeva ponovno stvaranje indeksa. Zato odluči o modelu prije, a ne poslije.
Qdrant
Qdrant je otvorenog koda, samostalno se hostira i nudi izvrsne performanse. Rječnik se razlikuje – govorimo o kolekcijama, točkama i payloadovima gdje Pinecone govori o indeksima, vektorima i metapodacima – ali shema ostaje identična. Imaj na umu da primjer poziva API za embedding dokument po dokument unutar petlje: to je prihvatljivo za tri dokumenta, ali razmisli o povratku na batcheve čim korpus naraste.
from qdrant_client import QdrantClient
from qdrant_client.models import (
Distance, VectorParams, PointStruct, Filter,
FieldCondition, MatchValue
)
from openai import OpenAI
qclient = QdrantClient(url="http://localhost:6333")
openai_client = OpenAI()
# Create a collection
qclient.create_collection(
collection_name="my-corpus",
vectors_config=VectorParams(
size=3072,
distance=Distance.COSINE
)
)
# Index documents
points = []
for i, doc in enumerate(documents):
emb = openai_client.embeddings.create(
input=doc["texte"],
model="text-embedding-3-large"
).data[0].embedding
points.append(PointStruct(
id=i,
vector=emb,
payload={"texte": doc["texte"], "categorie": doc["categorie"]}
))
qclient.upsert(collection_name="my-corpus", points=points)
# Search with filter
query_emb = openai_client.embeddings.create(
input="deploy a web application",
model="text-embedding-3-large"
).data[0].embedding
resultats = qclient.search(
collection_name="my-corpus",
query_vector=query_emb,
limit=3,
query_filter=Filter(
must=[FieldCondition(
key="categorie",
match=MatchValue(value="tutorial")
)]
)
)
for r in resultats:
print(f"[{r.score:.3f}] {r.payload['texte']}")
Weaviate
Weaviate se ističe svojim izvornim hibridnim pretraživanjem, kojem ćemo se vratiti u lekciji 9. Njegov podatkovni model strukturiraniji je od onoga kod konkurenata: eksplicitno deklariraš svojstva i njihove tipove prije umetanja bilo čega, što iskustvo približava klasičnoj bazi podataka.
import weaviate
from openai import OpenAI
wclient = weaviate.connect_to_local()
openai_client = OpenAI()
# Create a collection
from weaviate.classes.config import Property, DataType
collection = wclient.collections.create(
name="Document",
properties=[
Property(name="texte", data_type=DataType.TEXT),
Property(name="categorie", data_type=DataType.TEXT),
]
)
# Index
for doc in documents:
emb = openai_client.embeddings.create(
input=doc["texte"],
model="text-embedding-3-large"
).data[0].embedding
collection.data.insert(
properties={"texte": doc["texte"], "categorie": doc["categorie"]},
vector=emb
)
# Search
query_emb = openai_client.embeddings.create(
input="install Python",
model="text-embedding-3-large"
).data[0].embedding
resultats = collection.query.near_vector(
near_vector=query_emb,
limit=3
)
Chroma i pgvector
Chroma cilja na brzo prototipiranje: trajni klijent usmjeren na lokalnu mapu, kolekcija stvorena u hodu, bez infrastrukture. To je opcija koja te vodi od NumPy indeksa do prave baze podataka bez mijenjanja radnog okruženja.
import chromadb
from openai import OpenAI
chroma = chromadb.PersistentClient(path="./chroma_db")
openai_client = OpenAI()
collection = chroma.get_or_create_collection("my-corpus")
# Index
for doc in documents:
emb = openai_client.embeddings.create(
input=doc["texte"],
model="text-embedding-3-large"
).data[0].embedding
collection.add(
ids=[doc["id"]],
embeddings=[emb],
documents=[doc["texte"]],
metadatas=[{"categorie": doc["categorie"]}]
)
# Search
query_emb = openai_client.embeddings.create(
input="how to install Python",
model="text-embedding-3-large"
).data[0].embedding
resultats = collection.query(query_embeddings=[query_emb], n_results=3)
pgvector rješava sasvim drugačiju situaciju: tvoji dokumenti već su u PostgreSQLu, sa svojim joinovima, pravima pristupa i sigurnosnim kopijama. Umjesto uvođenja drugog sustava za sinkronizaciju, ekstenzija dodaje tip vector i operatore udaljenosti postojećoj bazi podataka. Operator <=> izračunava kosinusnu udaljenost, a HNSW indeks je ono što upit čini upotrebljivim izvan nekoliko tisuća redaka.
-- pgvector extension
CREATE EXTENSION vector;
CREATE TABLE documents (
id SERIAL PRIMARY KEY,
texte TEXT,
categorie TEXT,
embedding vector(3072)
);
-- HNSW index for performance
CREATE INDEX ON documents
USING hnsw (embedding vector_cosine_ops);
-- Search for the 5 nearest neighbors
SELECT id, texte, 1 - (embedding <=> $1::vector) AS score
FROM documents
ORDER BY embedding <=> $1::vector
LIMIT 5;
Usporedba
| Kriterij | Pinecone | Qdrant | Weaviate | Chroma | pgvector |
|---|---|---|---|---|---|
| Tip | Upravljano | Otvoreni kod | Otvoreni kod | Otvoreni kod | Ekstenzija |
| Hosting | Cloud | Samohostirano/Cloud | Samohostirano/Cloud | Lokalno/Ugrađeno | PostgreSQL |
| Hibridno pretraživanje | ✅ | ✅ | ✅ Izvorno | ❌ | Putem SQL-a |
| Produkcija | ✅ | ✅ | ✅ | ⚠️ Prototipiranje | ✅ |
| Jednostavnost korištenja | ✅✅ | ✅ | ✅ | ✅✅ | ✅ |
Izbor ovisi manje o sirovim performansama, koje su u praksi vrlo bliske, a više o tvom kontekstu: tim koji već vodi PostgreSQL ima svaki interes ostati pri njemu, tim bez ops odjela odabrat će upravljano rješenje, a tim koji mora hostirati u Europi zbog regulatornih razloga okrenut će se samohostiranim rješenjima.
Ključne točke
- Chroma za brzo prototipiranje
- pgvector ako već imaš PostgreSQL
- Pinecone za upravljana rješenja bez infrastrukture
- Qdrant za visokoperformansno samohostiranje
- Weaviate za izvorno hibridno pretraživanje