Vektorandmebaasid (Pinecone, Qdrant, Weaviate)
Sellel lehel
Eesmärgid
- Mõista, miks on vektorandmebaase vaja
- Võrrelda Pinecone’i, Qdranti, Weaviate’i, Chromat ja pgvectorit
- Rakendada otsingut igaühega neist
Miks vektorandmebaas?
Eelmises tunnis kasutatud NumPy indeks töötab suurepäraselt mõne tuhande dokumendi puhul, sest kümne tuhande vektori ammendav läbivaatamine jääb märkamatuks. Miljoni dokumendi puhul muutub sama arvutus aga iga päringu kohta üheks sekundiks latentsust ja maatriks ei mahu enam mugavalt mällu.
Kerkib esile neli vajadust. ANN-otsing (Approximate Nearest Neighbors) loobub täpse tulemuse garantiist millisekundilise vastuse kasuks miljonite vektorite seas – kompromiss, mis on peaaegu alati vastuvõetav, kuna kasutajakogemuse seisukohalt ei muuda midagi, kui tagastatakse viies parim dokument neljanda asemel. Metaandmete filtreerimine koos vektorotsinguga võimaldab piirata päringut kategooria, keele või kuupäevavahemikuga ilma järeltöötluseta. Püsivus ja reaalajas värskendused hoiavad ära kogu faili ülesehitamise vaid ühe dokumendi lisamiseks. Lõpuks on horisontaalne skaleeritavus see, mis eristab prototüüpi tootmisteenusest.
Pinecone
Pinecone on hallatav teenus: sa ei paigalda servereid, lood indeksi, määrates selle dimensiooni ja meetrika, ning ülejäänu hooldatakse sinu eest. Pane tähele päringule otse edastatud filtrit categorie – vektorotsing ja filtreerimine toimuvad koos, mitte üksteise järel.
from pinecone import Pinecone
from openai import OpenAI
pc = Pinecone(api_key="your-pinecone-key")
openai_client = OpenAI()
# Loo indeks
pc.create_index(
name="my-corpus",
dimension=3072,
metric="cosine",
spec={"serverless": {"cloud": "aws", "region": "eu-west-1"}}
)
index = pc.Index("my-corpus")
# Indekseeri dokumendid
documents = [
{"id": "doc1", "texte": "Python Installation Guide",
"categorie": "tutorial"},
{"id": "doc2", "texte": "Deploying a Flask Application",
"categorie": "tutorial"},
{"id": "doc3", "texte": "Q1 2026 Quarterly Report",
"categorie": "report"},
]
# Genereeri manused (embeddings)
textes = [d["texte"] for d in documents]
response = openai_client.embeddings.create(
input=textes,
model="text-embedding-3-large"
)
# Laadi Pinecone'i (upsert)
vecteurs = [
{
"id": doc["id"],
"values": emb.embedding,
"metadata": {"texte": doc["texte"], "categorie": doc["categorie"]}
}
for doc, emb in zip(documents, response.data)
]
index.upsert(vectors=vecteurs)
# Otsing
query_emb = openai_client.embeddings.create(
input="how to install Python",
model="text-embedding-3-large"
).data[0].embedding
resultats = index.query(
vector=query_emb,
top_k=3,
include_metadata=True,
filter={"categorie": {"$eq": "tutorial"}}
)
for match in resultats.matches:
print(f"[{match.score:.3f}] {match.metadata['texte']}")
Loomisel deklareeritud dimensioon on lõplik: üleminek mudelilt text-embedding-3-large mudelile text-embedding-3-small nõuab indeksi uuesti loomist. Seega otsusta mudeli kasuks enne, mitte pärast.
Qdrant
Qdrant on avatud lähtekoodiga, isemajutatav lahendus, mis pakub suurepärast jõudlust. Sõnavara erineb – räägime kollektsioonidest, punktidest ja kasulikest andmetest (payload), kus Pinecone räägib indeksitest, vektoritest ja metaandmetest –, kuid skeem jääb identseks. Pane tähele, et näites kutsutakse manuste API-t tsüklis iga dokumendi jaoks eraldi: see on kolme dokumendi puhul vastuvõetav, kuid korpuse kasvades mõtle kindlasti tagasi pakkidele (batches) üleminekule.
from qdrant_client import QdrantClient
from qdrant_client.models import (
Distance, VectorParams, PointStruct, Filter,
FieldCondition, MatchValue
)
from openai import OpenAI
qclient = QdrantClient(url="http://localhost:6333")
openai_client = OpenAI()
# Loo kollektsioon
qclient.create_collection(
collection_name="my-corpus",
vectors_config=VectorParams(
size=3072,
distance=Distance.COSINE
)
)
# Indekseeri dokumendid
points = []
for i, doc in enumerate(documents):
emb = openai_client.embeddings.create(
input=doc["texte"],
model="text-embedding-3-large"
).data[0].embedding
points.append(PointStruct(
id=i,
vector=emb,
payload={"texte": doc["texte"], "categorie": doc["categorie"]}
))
qclient.upsert(collection_name="my-corpus", points=points)
# Otsing filtriga
query_emb = openai_client.embeddings.create(
input="deploy a web application",
model="text-embedding-3-large"
).data[0].embedding
resultats = qclient.search(
collection_name="my-corpus",
query_vector=query_emb,
limit=3,
query_filter=Filter(
must=[FieldCondition(
key="categorie",
match=MatchValue(value="tutorial")
)]
)
)
for r in resultats:
print(f"[{r.score:.3f}] {r.payload['texte']}")
Weaviate
Weaviate paistab silma oma loomuliku hübriidotsinguga, mille juurde pöördume tagasi 9. tunnis. Selle andmemudel on konkurentidest struktureeritum: enne sisestamist deklareerid sõnaselgelt omadused ja nende tüübid, mis toob kogemuse lähemale klassikalisele andmebaasile.
import weaviate
from openai import OpenAI
wclient = weaviate.connect_to_local()
openai_client = OpenAI()
# Loo kollektsioon
from weaviate.classes.config import Property, DataType
collection = wclient.collections.create(
name="Document",
properties=[
Property(name="texte", data_type=DataType.TEXT),
Property(name="categorie", data_type=DataType.TEXT),
]
)
# Indekseerimine
for doc in documents:
emb = openai_client.embeddings.create(
input=doc["texte"],
model="text-embedding-3-large"
).data[0].embedding
collection.data.insert(
properties={"texte": doc["texte"], "categorie": doc["categorie"]},
vector=emb
)
# Otsing
query_emb = openai_client.embeddings.create(
input="install Python",
model="text-embedding-3-large"
).data[0].embedding
resultats = collection.query.near_vector(
near_vector=query_emb,
limit=3
)
Chroma ja pgvector
Chroma on suunatud prototüüpimisele: püsiv klient, mis osutab kohalikule kaustale, lennult loodud kollektsioon, infrastruktuuri pole vaja. See on valik, mis viib sind NumPy indeksilt päris andmebaasini ilma töökeskkonda muutmata.
import chromadb
from openai import OpenAI
chroma = chromadb.PersistentClient(path="./chroma_db")
openai_client = OpenAI()
collection = chroma.get_or_create_collection("my-corpus")
# Indekseerimine
for doc in documents:
emb = openai_client.embeddings.create(
input=doc["texte"],
model="text-embedding-3-large"
).data[0].embedding
collection.add(
ids=[doc["id"]],
embeddings=[emb],
documents=[doc["texte"]],
metadatas=[{"categorie": doc["categorie"]}]
)
# Otsing
query_emb = openai_client.embeddings.create(
input="how to install Python",
model="text-embedding-3-large"
).data[0].embedding
resultats = collection.query(query_embeddings=[query_emb], n_results=3)
pgvector lahendab hoopis teistsuguse olukorra: sinu dokumendid on juba PostgreSQLis koos oma liideste, juurdepääsuõiguste ja varukoopiatega. Teise süsteemi sissetoomise ja sünkroonimise asemel lisab laiendus olemasolevale andmebaasile vector tüübi ja kaugusoperaatorid. Operaator <=> arvutab koosinuskauguse ja HNSW-indeks on see, mis muudab päringu kasutatavaks ka beyond mõne tuhande rea piiri.
-- pgvector laiendus
CREATE EXTENSION vector;
CREATE TABLE documents (
id SERIAL PRIMARY KEY,
texte TEXT,
categorie TEXT,
embedding vector(3072)
);
-- Jõudluse jaoks HNSW-indeks
CREATE INDEX ON documents
USING hnsw (embedding vector_cosine_ops);
-- Otsi 5 lähimat naabrit
SELECT id, texte, 1 - (embedding <=> $1::vector) AS score
FROM documents
ORDER BY embedding <=> $1::vector
LIMIT 5;
Võrdlus
| Kriteerium | Pinecone | Qdrant | Weaviate | Chroma | pgvector |
|---|---|---|---|---|---|
| Tüüp | Hallatav | Avatud lähtekood | Avatud lähtekood | Avatud lähtekood | Laiendus |
| Majutus | Pilv | Isemajutatav/Pilv | Isemajutatav/Pilv | Kohalik/Embed | PostgreSQL |
| Hübriidotsing | ✅ | ✅ | ✅ Loomulik | ❌ | SQL-i kaudu |
| Toootmine | ✅ | ✅ | ✅ | ⚠️ Prototüüpimine | ✅ |
| Kasutusmugavus | ✅✅ | ✅ | ✅ | ✅✅ | ✅ |
Valik ei sõltu niivõrd toorest jõudlusest, mis on praktikas väga sarnane, kui sinu kontekstist: meeskonnal, kes juba kasutab PostgreSQLi, on mõistlik sellega jätkata; meeskond ilma ops-ta valib hallatava lahenduse ja meeskond, kes peab regulatiivsetel põhjustel majutama Euroopas, pöördub isemajutatava lahenduse poole.
Peamised punktid
- Chroma kiireks prototüüpimiseks
- pgvector, kui sul juba on PostgreSQL
- Pinecone hallatava lahendusena ilma infrastruktuurita
- Qdrant suure jõudlusega isemajutatavaks lahenduseks
- Weaviate loomuliku hübriidotsingu jaoks