Βάσεις δεδομένων διανυσμάτων (Pinecone, Qdrant, Weaviate)
Σε αυτήν τη σελίδα
Στόχοι
- Να κατανοήσετε γιατί είναι απαραίτητες οι βάσεις δεδομένων διανυσμάτων
- Να συγκρίνετε τις Pinecone, Qdrant, Weaviate, Chroma και pgvector
- Να υλοποιήσετε αναζήτηση με την καθεμία από αυτές
Γιατί μια βάση δεδομένων διανυσμάτων;
Ο δείκτης NumPy από το προηγούμενο μάθημα λειτουργεί άψογα για μερικές χιλιάδες έγγραφα, καθώς η εξαντλητική σάρωση δέκα χιλιάδων διανυσμάτων παραμένει ανεπαίσθητη. Στο ένα εκατομμύριο, ο ίδιος υπολογισμός μετατρέπεται σε ένα δευτερόλεπτο καθυστέρησης ανά ερώτημα, ενώ ο πίνακας δεν χωράει πλέον άνετα στη μνήμη.
Αναδύονται τέσσερις ανάγκες ταυτόχρονα. Η αναζήτηση ANN (Approximate Nearest Neighbors) εγκαταλείπει την εγγύηση ενός ακριβούς αποτελέσματος υπέρ μιας απόκρισης σε χιλιοστά του δευτερολέπτου σε εκατομμύρια διανύσματα—μια συμβιβαστική λύση που είναι σχεδόν πάντα αποδεκτή, καθώς η επιστροφή του πέμπτου καλύτερου εγγράφου αντί του τέταρτου δεν αλλάζει τίποτα για την εμπειρία του χρήστη. Το φιλτράρισμα μεταδεδομένων σε συνδυασμό με την αναζήτηση διανυσμάτων σάς επιτρέπει να περιορίσετε ένα ερώτημα σε μια κατηγορία, γλώσσα ή εύρος ημερομηνιών χωρίς μετα-επεξεργασία. Η μονιμότητα και οι ενημερώσεις σε πραγματικό χρόνο αποφεύγουν την ανοικοδόμηση ολόκληρου ενός αρχείου απλώς για να προσθέσετε ένα έγγραφο. Τέλος, η οριζόντια κλιμάκωση είναι αυτό που διαχωρίζει ένα πρωτότυπο από μια υπηρεσία παραγωγής.
Pinecone
Η Pinecone είναι μια διαχειριζόμενη υπηρεσία: δεν προμηθεύεστε διακομιστές, δημιουργείτε έναν δείκτη καθορίζοντας τη διάστασή του και τη μετρική του, και τα υπόλοιπα γίνονται αυτόματα. Παρατηρήστε το φίλτρο categorie που περνάει απευθείας στο query—η αναζήτηση διανυσμάτων και το φιλτράρισμα εκτελούνται ταυτόχρονα, όχι το ένα μετά το άλλο.
from pinecone import Pinecone
from openai import OpenAI
pc = Pinecone(api_key="your-pinecone-key")
openai_client = OpenAI()
# Create an index
pc.create_index(
name="my-corpus",
dimension=3072,
metric="cosine",
spec={"serverless": {"cloud": "aws", "region": "eu-west-1"}}
)
index = pc.Index("my-corpus")
# Index documents
documents = [
{"id": "doc1", "texte": "Python Installation Guide",
"categorie": "tutorial"},
{"id": "doc2", "texte": "Deploying a Flask Application",
"categorie": "tutorial"},
{"id": "doc3", "texte": "Q1 2026 Quarterly Report",
"categorie": "report"},
]
# Generate embeddings
textes = [d["texte"] for d in documents]
response = openai_client.embeddings.create(
input=textes,
model="text-embedding-3-large"
)
# Upsert into Pinecone
vecteurs = [
{
"id": doc["id"],
"values": emb.embedding,
"metadata": {"texte": doc["texte"], "categorie": doc["categorie"]}
}
for doc, emb in zip(documents, response.data)
]
index.upsert(vectors=vecteurs)
# Search
query_emb = openai_client.embeddings.create(
input="how to install Python",
model="text-embedding-3-large"
).data[0].embedding
resultats = index.query(
vector=query_emb,
top_k=3,
include_metadata=True,
filter={"categorie": {"$eq": "tutorial"}}
)
for match in resultats.matches:
print(f"[{match.score:.3f}] {match.metadata['texte']}")
Η διάσταση που δηλώνεται κατά τη δημιουργία είναι οριστική: η μετάβαση από το text-embedding-3-large στο text-embedding-3-small απαιτεί τη δημιουργία νέου δείκτη. Επομένως, αποφασίστε για το μοντέλο πριν, και όχι μετά.
Qdrant
Η Qdrant είναι ανοιχτού κώδικα, φιλοξενείται από εσάς (self-hosted) και προσφέρει εξαιρετικές επιδόσεις. Το λεξιλόγιο διαφέρει—μιλάμε για συλλογές, σημεία και φορτία (payloads) εκεί που η Pinecone μιλά για δείκτες, διανύσματα και μεταδεδομένα—αλλά το σχήμα παραμένει ίδιο. Σημειώστε ότι το παράδειγμα καλεί το API ενσωμάτωσης (embedding) έγγραφο προς έγγραφο μέσα στον βρόχο: αυτό είναι αποδεκτό για τρία έγγραφα, αλλά σκεφτείτε να επιστρέψετε σε παρτίδες (batches) μόλις μεγαλώσει το σώμα κειμένων.
from qdrant_client import QdrantClient
from qdrant_client.models import (
Distance, VectorParams, PointStruct, Filter,
FieldCondition, MatchValue
)
from openai import OpenAI
qclient = QdrantClient(url="http://localhost:6333")
openai_client = OpenAI()
# Create a collection
qclient.create_collection(
collection_name="my-corpus",
vectors_config=VectorParams(
size=3072,
distance=Distance.COSINE
)
)
# Index documents
points = []
for i, doc in enumerate(documents):
emb = openai_client.embeddings.create(
input=doc["texte"],
model="text-embedding-3-large"
).data[0].embedding
points.append(PointStruct(
id=i,
vector=emb,
payload={"texte": doc["texte"], "categorie": doc["categorie"]}
))
qclient.upsert(collection_name="my-corpus", points=points)
# Search with filter
query_emb = openai_client.embeddings.create(
input="deploy a web application",
model="text-embedding-3-large"
).data[0].embedding
resultats = qclient.search(
collection_name="my-corpus",
query_vector=query_emb,
limit=3,
query_filter=Filter(
must=[FieldCondition(
key="categorie",
match=MatchValue(value="tutorial")
)]
)
)
for r in resultats:
print(f"[{r.score:.3f}] {r.payload['texte']}")
Weaviate
Η Weaviate ξεχωρίζει για την εγγενή υβριδική της αναζήτηση, την οποία θα επανεξετάσουμε στο μάθημα 9. Το μοντέλο δεδομένων της είναι πιο δομημένο από αυτό των ανταγωνιστών της: δηλώνετε ρητά τις ιδιότητες και τους τύπους τους πριν εισάγετε οτιδήποτε, γεγονός που φέρνει την εμπειρία πιο κοντά σε αυτή μιας κλασικής βάσης δεδομένων.
import weaviate
from openai import OpenAI
wclient = weaviate.connect_to_local()
openai_client = OpenAI()
# Create a collection
from weaviate.classes.config import Property, DataType
collection = wclient.collections.create(
name="Document",
properties=[
Property(name="texte", data_type=DataType.TEXT),
Property(name="categorie", data_type=DataType.TEXT),
]
)
# Index
for doc in documents:
emb = openai_client.embeddings.create(
input=doc["texte"],
model="text-embedding-3-large"
).data[0].embedding
collection.data.insert(
properties={"texte": doc["texte"], "categorie": doc["categorie"]},
vector=emb
)
# Search
query_emb = openai_client.embeddings.create(
input="install Python",
model="text-embedding-3-large"
).data[0].embedding
resultats = collection.query.near_vector(
near_vector=query_emb,
limit=3
)
Chroma και pgvector
Η Chroma στοχεύει στη γρήγορη δημιουργία πρωτοτύπων: ένας μόνιμος πελάτης που δείχνει σε έναν τοπικό φάκελο, μια συλλογή που δημιουργείται επιτόπου, χωρίς υποδομή. Αυτή είναι η επιλογή που σας μεταφέρει από έναν δείκτη NumPy σε μια πραγματική βάση δεδομένων χωρίς να αλλάξετε το περιβάλλον εργασίας σας.
import chromadb
from openai import OpenAI
chroma = chromadb.PersistentClient(path="./chroma_db")
openai_client = OpenAI()
collection = chroma.get_or_create_collection("my-corpus")
# Index
for doc in documents:
emb = openai_client.embeddings.create(
input=doc["texte"],
model="text-embedding-3-large"
).data[0].embedding
collection.add(
ids=[doc["id"]],
embeddings=[emb],
documents=[doc["texte"]],
metadatas=[{"categorie": doc["categorie"]}]
)
# Search
query_emb = openai_client.embeddings.create(
input="how to install Python",
model="text-embedding-3-large"
).data[0].embedding
resultats = collection.query(query_embeddings=[query_emb], n_results=3)
Η pgvector αντιμετωπίζει μια πολύ διαφορετική κατάσταση: τα έγγραφά σας βρίσκονται ήδη στην PostgreSQL, με τις συσχετίσεις (joins), τα δικαιώματα πρόσβασης και τα αντίγραφα ασφαλείας τους. Αντί να εισάγετε ένα δεύτερο σύστημα για συγχρονισμό, η επέκταση προσθέτει έναν τύπο vector και τελεστές απόστασης στην υπάρχουσα βάση δεδομένων. Ο τελεστής <=> υπολογίζει την απόσταση συνημιτόνου και ο δείκτης HNSW είναι αυτός που καθιστά το ερώτημα usable πέρα από μερικές χιλιάδες γραμμές.
-- pgvector extension
CREATE EXTENSION vector;
CREATE TABLE documents (
id SERIAL PRIMARY KEY,
texte TEXT,
categorie TEXT,
embedding vector(3072)
);
-- HNSW index for performance
CREATE INDEX ON documents
USING hnsw (embedding vector_cosine_ops);
-- Search for the 5 nearest neighbors
SELECT id, texte, 1 - (embedding <=> $1::vector) AS score
FROM documents
ORDER BY embedding <=> $1::vector
LIMIT 5;
Σύγκριση
| Κριτήριο | Pinecone | Qdrant | Weaviate | Chroma | pgvector |
|---|---|---|---|---|---|
| Τύπος | Διαχειριζόμενη | Ανοιχτού κώδικα | Ανοιχτού κώδικα | Ανοιχτού κώδικα | Επέκταση |
| Φιλοξενία | Cloud | Self-hosted/Cloud | Self-hosted/Cloud | Τοπική/Embed | PostgreSQL |
| Υβριδική αναζήτηση | ✅ | ✅ | ✅ Εγγενής | ❌ | Μέσω SQL |
| Παραγωγή | ✅ | ✅ | ✅ | ⚠️ Πρωτότυπο | ✅ |
| Ευκολία χρήσης | ✅✅ | ✅ | ✅ | ✅✅ | ✅ |
Η επιλογή εξαρτάται λιγότερο από τις ακατέργαστες επιδόσεις, οι οποίες είναι πολύ κοντά στην πράξη, και περισσότερο από το πλαίσιο σας: μια ομάδα που ήδη εκτελεί PostgreSQL έχει κάθε συμφέρον να παραμείνει σε αυτή, μια ομάδα χωρίς λειτουργικούς πόρους (ops) θα επιλέξει μια διαχειριζόμενη λύση, και μια ομάδα που πρέπει να φιλοξενήσει στην Ευρώπη για κανονιστικούς λόγους θα στραφεί σε λύσεις self-hosted.
Βασικά σημεία
- Chroma για γρήγορη δημιουργία πρωτοτύπων
- pgvector αν έχετε ήδη PostgreSQL
- Pinecone για διαχειριζόμενη λύση χωρίς υποδομή
- Qdrant για υψηλές επιδόσεις σε self-hosting
- Weaviate για εγγενή υβριδική αναζήτηση