Bażijiet tad-data vettorjali (Pinecone, Qdrant, Weaviate)
F'din il-paġna
Għanijiet
- Tifhem għaliex il-bażijiet tad-data vettorjali huma meħtieġa
- Tqabbel bejn Pinecone, Qdrant, Weaviate, Chroma, u pgvector
- Timplimenta t-tfittxija ma’ kull waħda minnhom
Għaliex bażi tad-data vettorjali?
L-indiċi NumPy mil-lezzjoni preċedenti jaħdem perfettament għal ftit eluf ta’ dokumenti għax skan eżawrjenti ta’ għaxart elef vettur jibqa’ imperċettibbli. F’miljun, dik l-istess kalkolu jsir sekonda ta’ latenza għal kull mistoqsija, u l-matriċi ma tibqax tidħol b’mod komdu fil-memorja.
Erba’ ħtiġijiet joħorġu flimkien. It-tfittxija ANN (Approximate Nearest Neighbors) titlaq il-garanzija ta’ riżultat eżatt favur tweġiba f’millisekondi fuq miljuni ta’ vetturi—kompromess li kważi dejjem huwa aċċettabbli, peress li r-ritorn tal-ħames l-aqwa dokument minflok ir-raba’ ma jbiddel xejn għall-esperjenza tal-utent. Il-filtrar tal-metadejta magħqud mat-tfittxija vettorjali jħallik tirrestrinġi mistoqsija għal kategorija, lingwa, jew firxa ta’ dati mingħajr post-ipproċessar. Il-persistenza u aġġornamenti f’ħin reali jevitaw li tibni mill-ġdid fajl sħiħ biss biex iżżid dokument. Fl-aħħar nett, l-iskalar orizzontali huwa dak li jiddistingwi prototip minn servizz ta’ produzzjoni.
Pinecone
Pinecone huwa servizz immaniġġjat: ma tipprovdi l-ebda server, toħloq indiċi billi tispeċifika d-dimensjoni u l-metrika tiegħu, u l-bqija tiġi ttrattata għalik. Innota l-filtru categorie mgħoddi direttament lil query—it-tfittxija vettorjali u l-filtrar iseħħu flimkien, mhux wieħed wara l-ieħor.
from pinecone import Pinecone
from openai import OpenAI
pc = Pinecone(api_key="your-pinecone-key")
openai_client = OpenAI()
# Create an index
pc.create_index(
name="my-corpus",
dimension=3072,
metric="cosine",
spec={"serverless": {"cloud": "aws", "region": "eu-west-1"}}
)
index = pc.Index("my-corpus")
# Index documents
documents = [
{"id": "doc1", "texte": "Python Installation Guide",
"categorie": "tutorial"},
{"id": "doc2", "texte": "Deploying a Flask Application",
"categorie": "tutorial"},
{"id": "doc3", "texte": "Q1 2026 Quarterly Report",
"categorie": "report"},
]
# Generate embeddings
textes = [d["texte"] for d in documents]
response = openai_client.embeddings.create(
input=textes,
model="text-embedding-3-large"
)
# Upsert into Pinecone
vecteurs = [
{
"id": doc["id"],
"values": emb.embedding,
"metadata": {"texte": doc["texte"], "categorie": doc["categorie"]}
}
for doc, emb in zip(documents, response.data)
]
index.upsert(vectors=vecteurs)
# Search
query_emb = openai_client.embeddings.create(
input="how to install Python",
model="text-embedding-3-large"
).data[0].embedding
resultats = index.query(
vector=query_emb,
top_k=3,
include_metadata=True,
filter={"categorie": {"$eq": "tutorial"}}
)
for match in resultats.matches:
print(f"[{match.score:.3f}] {match.metadata['texte']}")
Id-dimensjoni ddikjarata fil-ħolqien hija finali: il-bidla minn text-embedding-3-large għal text-embedding-3-small teħtieġ li terġa’ toħloq l-indiċi. Għalhekk, iddeċiedi dwar il-mudell qabel, mhux wara.
Qdrant
Qdrant huwa open source, ospitat minnek innifsek (self-hosted), u joffri prestazzjoni eċċellenti. Il-vokabolarju jvarja—nitkellmu dwar kollezzjonijiet, punti, u payloads fejn Pinecone jkellem dwar indiċijiet, vetturi, u metadejta—iżda l-iskema tibqa’ identika. Innota li l-eżempju jsejjaħ l-API tal-embedding dokument b’dokument ġol-loop: dan huwa aċċettabbli għal tliet dokumenti, iżda ħsieb dwar il-bidla lura għal batches hekk kif il-corpus jikber.
from qdrant_client import QdrantClient
from qdrant_client.models import (
Distance, VectorParams, PointStruct, Filter,
FieldCondition, MatchValue
)
from openai import OpenAI
qclient = QdrantClient(url="http://localhost:6333")
openai_client = OpenAI()
# Create a collection
qclient.create_collection(
collection_name="my-corpus",
vectors_config=VectorParams(
size=3072,
distance=Distance.COSINE
)
)
# Index documents
points = []
for i, doc in enumerate(documents):
emb = openai_client.embeddings.create(
input=doc["texte"],
model="text-embedding-3-large"
).data[0].embedding
points.append(PointStruct(
id=i,
vector=emb,
payload={"texte": doc["texte"], "categorie": doc["categorie"]}
))
qclient.upsert(collection_name="my-corpus", points=points)
# Search with filter
query_emb = openai_client.embeddings.create(
input="deploy a web application",
model="text-embedding-3-large"
).data[0].embedding
resultats = qclient.search(
collection_name="my-corpus",
query_vector=query_emb,
limit=3,
query_filter=Filter(
must=[FieldCondition(
key="categorie",
match=MatchValue(value="tutorial")
)]
)
)
for r in resultats:
print(f"[{r.score:.3f}] {r.payload['texte']}")
Weaviate
Weaviate jispikka bit-tfittxija ibrida nattiva tiegħu, li nerġgħu nħarsu lejha fil-lezzjoni 9. Il-mudell tad-data tiegħu huwa aktar strutturat minn dak tal-kompetituri tiegħu: tiddikjara espliċitament il-proprjetajiet u t-tipi tagħhom qabel ma tdaħħal xejn, li jqarreb l-esperjenza għal dik ta’ bażi tad-data klassika.
import weaviate
from openai import OpenAI
wclient = weaviate.connect_to_local()
openai_client = OpenAI()
# Create a collection
from weaviate.classes.config import Property, DataType
collection = wclient.collections.create(
name="Document",
properties=[
Property(name="texte", data_type=DataType.TEXT),
Property(name="categorie", data_type=DataType.TEXT),
]
)
# Index
for doc in documents:
emb = openai_client.embeddings.create(
input=doc["texte"],
model="text-embedding-3-large"
).data[0].embedding
collection.data.insert(
properties={"texte": doc["texte"], "categorie": doc["categorie"]},
vector=emb
)
# Search
query_emb = openai_client.embeddings.create(
input="install Python",
model="text-embedding-3-large"
).data[0].embedding
resultats = collection.query.near_vector(
near_vector=query_emb,
limit=3
)
Chroma u pgvector
Chroma jimmira lejn il-prototipar: klijent persistenti ppuntat lejn folder lokali, kollezzjoni maħluqa fuq it-titjira, l-ebda infrastruttura. Din hija l-għażla li tieħdek minn indiċi NumPy għal bażi tad-data reali mingħajr ma tbiddel l-ambjent tax-xogħol tiegħek.
import chromadb
from openai import OpenAI
chroma = chromadb.PersistentClient(path="./chroma_db")
openai_client = OpenAI()
collection = chroma.get_or_create_collection("my-corpus")
# Index
for doc in documents:
emb = openai_client.embeddings.create(
input=doc["texte"],
model="text-embedding-3-large"
).data[0].embedding
collection.add(
ids=[doc["id"]],
embeddings=[emb],
documents=[doc["texte"]],
metadatas=[{"categorie": doc["categorie"]}]
)
# Search
query_emb = openai_client.embeddings.create(
input="how to install Python",
model="text-embedding-3-large"
).data[0].embedding
resultats = collection.query(query_embeddings=[query_emb], n_results=3)
pgvector jindirizza sitwazzjoni differenti ħafna: id-dokumenti tiegħek diġà huma f’PostgreSQL, bil-joins, id-drittijiet ta’ aċċess, u l-backups tagħhom. Minflok tintroduċi sistema sekondarja biex tissinkronizza, l-estensjoni żżid tip vector u operaturi tad-distanza lill-bażi tad-data eżistenti. L-operatur <=> jikkalkula d-distanza tal-cosine, u l-indiċi HNSW huwa dak li jagħmel il-mistoqsija użabbli lil hinn minn ftit eluf ta’ ringieli.
-- pgvector extension
CREATE EXTENSION vector;
CREATE TABLE documents (
id SERIAL PRIMARY KEY,
texte TEXT,
categorie TEXT,
embedding vector(3072)
);
-- HNSW index for performance
CREATE INDEX ON documents
USING hnsw (embedding vector_cosine_ops);
-- Search for the 5 nearest neighbors
SELECT id, texte, 1 - (embedding <=> $1::vector) AS score
FROM documents
ORDER BY embedding <=> $1::vector
LIMIT 5;
Tqabbil
| Kriterju | Pinecone | Qdrant | Weaviate | Chroma | pgvector |
|---|---|---|---|---|---|
| Tip | Immaniġġjat | Open source | Open source | Open source | Estensjoni |
| Hosting | Cloud | Self-hosted/Cloud | Self-hosted/Cloud | Lokali/Embed | PostgreSQL |
| Tfittxija ibrida | ✅ | ✅ | ✅ Nattiva | ❌ | Permezz ta’ SQL |
| Produzzjoni | ✅ | ✅ | ✅ | ⚠️ Prototipar | ✅ |
| Faċilità ta’ użu | ✅✅ | ✅ | ✅ | ✅✅ | ✅ |
L-għażla tiddependi inqas mill-prestazzjoni raw, li hija qrib ħafna fil-prattika, milli mill-kuntest tiegħek: tim li diġà jmexxi PostgreSQL għandu kull interess li jibqa’ miegħu, tim mingħajr ops jagħżel servizz immaniġġjat, u tim li jrid jospita fl-Ewropa għal raġunijiet regolatorji jdur lejn soluzzjonijiet self-hosted.
Punti Ewlenin
- Chroma għal prototipar rapidu
- pgvector jekk diġà għandek PostgreSQL
- Pinecone għal servizz immaniġġjat, mingħajr infrastruttura
- Qdrant għal hosting self-hosted ta’ prestazzjoni għolja
- Weaviate għal tfittxija ibrida nattiva