Векторни бази данни (Pinecone, Qdrant, Weaviate)
На тази страница
Цели
- Да разберете защо са необходими векторните бази данни
- Да сравните Pinecone, Qdrant, Weaviate, Chroma и pgvector
- Да реализирате търсене с всяка от тях
Защо векторна база данни?
NumPy индексът от предишния урок работи перфектно за няколко хиляди документа, защото изчерпателното сканиране на десет хиляди вектора остава незабележимо. При един милион същото изчисление води до забавяне от една секунда на заявка, а матрицата вече не се събира удобно в паметта.
Изкристализират четири основни нужди. ANN търсенето (Approximate Nearest Neighbors) жертва гаранцията за абсолютно точен резултат в полза на отговор в рамките на милисекунди при милиони вектори – компромис, който почти винаги е приемлив, тъй като връщането на петия най-добър документ вместо четвъртия не променя потребителското изживяване. Филтрирането по метаданни, комбинирано с векторно търсене, Ви позволява да ограничите заявката до категория, език или диапазон от дати без нужда от последваща обработка. Устойчивостта и актуализациите в реално време избягват необходимостта от повторно изграждане на цял файл само за да добавите един документ. Накрая, хоризонталното мащабиране е това, което отличава прототипа от производствена услуга.
Pinecone
Pinecone е управлявана услуга: не предоставяте сървъри, създавате индекс, като посочвате неговата размерност и метрика, а останалото се управлява автоматично. Обърнете внимание на филтъра categorie, предаден директно на query – векторното търсене и филтрирането се изпълняват едновременно, а не последователно.
from pinecone import Pinecone
from openai import OpenAI
pc = Pinecone(api_key="your-pinecone-key")
openai_client = OpenAI()
# Create an index
pc.create_index(
name="my-corpus",
dimension=3072,
metric="cosine",
spec={"serverless": {"cloud": "aws", "region": "eu-west-1"}}
)
index = pc.Index("my-corpus")
# Index documents
documents = [
{"id": "doc1", "texte": "Python Installation Guide",
"categorie": "tutorial"},
{"id": "doc2", "texte": "Deploying a Flask Application",
"categorie": "tutorial"},
{"id": "doc3", "texte": "Q1 2026 Quarterly Report",
"categorie": "report"},
]
# Generate embeddings
textes = [d["texte"] for d in documents]
response = openai_client.embeddings.create(
input=textes,
model="text-embedding-3-large"
)
# Upsert into Pinecone
vecteurs = [
{
"id": doc["id"],
"values": emb.embedding,
"metadata": {"texte": doc["texte"], "categorie": doc["categorie"]}
}
for doc, emb in zip(documents, response.data)
]
index.upsert(vectors=vecteurs)
# Search
query_emb = openai_client.embeddings.create(
input="how to install Python",
model="text-embedding-3-large"
).data[0].embedding
resultats = index.query(
vector=query_emb,
top_k=3,
include_metadata=True,
filter={"categorie": {"$eq": "tutorial"}}
)
for match in resultats.matches:
print(f"[{match.score:.3f}] {match.metadata['texte']}")
Декларираната при създаването размерност е окончателна: преминаването от text-embedding-3-large към text-embedding-3-small изисква повторно създаване на индекса. Затова изберете модела предварително, а не след това.
Qdrant
Qdrant е с отворен код, хоства се самостоятелно и предлага отлична производителност. Речникът е различен – говорим за колекции, точки и полезни товари (payloads), докато Pinecone използва термините индекси, вектори и метаданни – но схемата остава идентична. Обърнете внимание, че примерът извиква API за вграждане документ по документ вътре в цикъла: това е приемливо за три документа, но помислете за връщане към пакети (batches), щом корпусът нарасте.
from qdrant_client import QdrantClient
from qdrant_client.models import (
Distance, VectorParams, PointStruct, Filter,
FieldCondition, MatchValue
)
from openai import OpenAI
qclient = QdrantClient(url="http://localhost:6333")
openai_client = OpenAI()
# Create a collection
qclient.create_collection(
collection_name="my-corpus",
vectors_config=VectorParams(
size=3072,
distance=Distance.COSINE
)
)
# Index documents
points = []
for i, doc in enumerate(documents):
emb = openai_client.embeddings.create(
input=doc["texte"],
model="text-embedding-3-large"
).data[0].embedding
points.append(PointStruct(
id=i,
vector=emb,
payload={"texte": doc["texte"], "categorie": doc["categorie"]}
))
qclient.upsert(collection_name="my-corpus", points=points)
# Search with filter
query_emb = openai_client.embeddings.create(
input="deploy a web application",
model="text-embedding-3-large"
).data[0].embedding
resultats = qclient.search(
collection_name="my-corpus",
query_vector=query_emb,
limit=3,
query_filter=Filter(
must=[FieldCondition(
key="categorie",
match=MatchValue(value="tutorial")
)]
)
)
for r in resultats:
print(f"[{r.score:.3f}] {r.payload['texte']}")
Weaviate
Weaviate се отличава с natives си хибридно търсене, към което ще се върнем в урок 9. Неговият модел на данни е по-структуриран от този на конкурентите: изрично декларирате свойства и техните типове, преди да вмъкнете каквото и да е, което доближава изживяването до това на класическа база данни.
import weaviate
from openai import OpenAI
wclient = weaviate.connect_to_local()
openai_client = OpenAI()
# Create a collection
from weaviate.classes.config import Property, DataType
collection = wclient.collections.create(
name="Document",
properties=[
Property(name="texte", data_type=DataType.TEXT),
Property(name="categorie", data_type=DataType.TEXT),
]
)
# Index
for doc in documents:
emb = openai_client.embeddings.create(
input=doc["texte"],
model="text-embedding-3-large"
).data[0].embedding
collection.data.insert(
properties={"texte": doc["texte"], "categorie": doc["categorie"]},
vector=emb
)
# Search
query_emb = openai_client.embeddings.create(
input="install Python",
model="text-embedding-3-large"
).data[0].embedding
resultats = collection.query.near_vector(
near_vector=query_emb,
limit=3
)
Chroma и pgvector
Chroma цели бързото прототипиране: устойчив клиент, насочен към локална папка, колекция, създадена в движение, без инфраструктура. Това е опцията, която Ви отвежда от NumPy индекс до истинска база данни, без да променяте работната си среда.
import chromadb
from openai import OpenAI
chroma = chromadb.PersistentClient(path="./chroma_db")
openai_client = OpenAI()
collection = chroma.get_or_create_collection("my-corpus")
# Index
for doc in documents:
emb = openai_client.embeddings.create(
input=doc["texte"],
model="text-embedding-3-large"
).data[0].embedding
collection.add(
ids=[doc["id"]],
embeddings=[emb],
documents=[doc["texte"]],
metadatas=[{"categorie": doc["categorie"]}]
)
# Search
query_emb = openai_client.embeddings.create(
input="how to install Python",
model="text-embedding-3-large"
).data[0].embedding
resultats = collection.query(query_embeddings=[query_emb], n_results=3)
pgvector адресира съвсем различна ситуация: Вашите документи вече са в PostgreSQL, заедно с техните връзки (joins), права за достъп и резервни копия. Вместо да въвеждате втора система за синхронизиране, разширението добавя тип vector и оператори за разстояние към съществуващата база данни. Операторът <=> изчислява косинусното разстояние, а HNSW индексът е това, което прави заявката използваема отвъд няколко хиляди реда.
-- pgvector extension
CREATE EXTENSION vector;
CREATE TABLE documents (
id SERIAL PRIMARY KEY,
texte TEXT,
categorie TEXT,
embedding vector(3072)
);
-- HNSW index for performance
CREATE INDEX ON documents
USING hnsw (embedding vector_cosine_ops);
-- Search for the 5 nearest neighbors
SELECT id, texte, 1 - (embedding <=> $1::vector) AS score
FROM documents
ORDER BY embedding <=> $1::vector
LIMIT 5;
Сравнение
| Критерий | Pinecone | Qdrant | Weaviate | Chroma | pgvector |
|---|---|---|---|---|---|
| Тип | Управлявана | С отворен код | С отворен код | С отворен код | Разширение |
| Хостване | Облак | Собствен/Облак | Собствен/Облак | Локално/Вградено | PostgreSQL |
| Хибридно търсене | ✅ | ✅ | ✅ Native | ❌ | Чрез SQL |
| Продукция | ✅ | ✅ | ✅ | ⚠️ Прототипиране | ✅ |
| Леснота на употреба | ✅✅ | ✅ | ✅ | ✅✅ | ✅ |
Изборът зависи по-малко от суровата производителност, която на практика е много близка, а повече от Вашия контекст: екип, който вече използва PostgreSQL, има всеки интерес да остане с него; екип без оперативни специалисти (ops) ще избере управлявано решение; а екип, който трябва да хоства в Европа поради регулаторни причини, ще се ориентира към самостоятелно хостване.
Ключови изводи
- Chroma за бързо прототипиране
- pgvector, ако вече разполагате с PostgreSQL
- Pinecone за управлявано решение без инфраструктура
- Qdrant за високопроизводително самостоятелно хостване
- Weaviate за нативно хибридно търсене