Bunachair shonraí veicteoireacha (Pinecone, Qdrant, Weaviate)
Ar an leathanach seo
Cuspóirí
- Tuiscint a fháil ar cén fáth a bhfuil bunachair shonraí veicteoireacha riachtanach
- Comparáid a dhéanamh idir Pinecone, Qdrant, Weaviate, Chroma, agus pgvector
- Cuardach a chur i bhfeidhm le gach ceann acu
Cén fáth bunachar sonraí veicteoireach?
Oibríonn an t-innéacs NumPy ón gcúpla ceacht roimhe seo go foirfe do roinnt mílte cáipéis, toisc go bhfanann scanadh iomlán deich míle veicteoir dofheicthe. Ag milliún amháin, éiríonn an ríomh céanna ina mhoill soicind in aghaidh na ceiste, agus ní oireann an mhaitrís go compordach sa chuimhne a thuilleadh.
Tagann ceithre riachtanas chun cinn le chéile. Tráthraíonn cuardach ANN (Comharsana Is Gaire Thart ar Láimh) an ráthaíocht ar thoradh cruinn ar mhaithe le freagairt mhilleasoicind ar milliúin veicteoir—compromís atá inghlactha beagnach i gcónaí, ós rud é nach ndéanann an cúigiú doiciméad is fearr a thabhairt ar ais in ionad an cheathrú aon difríocht don taithí úsáideora. Ligeann scagadh meiteashonraí i gcomhar le cuardach veicteoireach duit ceist a theorannú do chatagóir, teanga, nó raon dáta gan iarphróiseáil. Seachnaíonn marthanacht agus nuashonruithe fíor-ama an gá le comhad iomlán a aththógáil díreach chun doiciméad amháin a chur leis. Ar deireadh, is é scálú cothrománach an rud a dhéanann idirdhealú idir fréamhshamhail agus seirbhís táirgeachta.
Pinecone
Is seirbhís bhainistithe é Pinecone: ní sholáthraíonn tú freastalaithe, cruthaíonn tú innéacs trí a thoise agus a mhéadracht a shonrú, agus déileáiltear leis an gcuid eile ar do shon. Tabhair faoi deara an scagaire categorie a chuirtear ar aghaidh go díreach chuig query—feidhmíonn cuardach veicteoireach agus scagadh le chéile, ní ceann i ndiaidh a chéile.
from pinecone import Pinecone
from openai import OpenAI
pc = Pinecone(api_key="your-pinecone-key")
openai_client = OpenAI()
# Create an index
pc.create_index(
name="my-corpus",
dimension=3072,
metric="cosine",
spec={"serverless": {"cloud": "aws", "region": "eu-west-1"}}
)
index = pc.Index("my-corpus")
# Index documents
documents = [
{"id": "doc1", "texte": "Python Installation Guide",
"categorie": "tutorial"},
{"id": "doc2", "texte": "Deploying a Flask Application",
"categorie": "tutorial"},
{"id": "doc3", "texte": "Q1 2026 Quarterly Report",
"categorie": "report"},
]
# Generate embeddings
textes = [d["texte"] for d in documents]
response = openai_client.embeddings.create(
input=textes,
model="text-embedding-3-large"
)
# Upsert into Pinecone
vecteurs = [
{
"id": doc["id"],
"values": emb.embedding,
"metadata": {"texte": doc["texte"], "categorie": doc["categorie"]}
}
for doc, emb in zip(documents, response.data)
]
index.upsert(vectors=vecteurs)
# Search
query_emb = openai_client.embeddings.create(
input="how to install Python",
model="text-embedding-3-large"
).data[0].embedding
resultats = index.query(
vector=query_emb,
top_k=3,
include_metadata=True,
filter={"categorie": {"$eq": "tutorial"}}
)
for match in resultats.matches:
print(f"[{match.score:.3f}] {match.metadata['texte']}")
Tá an toise a dheclaraítear ag an am cruthaithe críochnaithe: éilíonn athrú ó text-embedding-3-large go text-embedding-3-small an t-innéacs a athchruthú. Mar sin, cinntigh an tsamhail roimh ré, ní ina dhiaidh.
Qdrant
Tá Qdrant foinse oscailte, féin-óstáilte, agus tairgeann sé feidhmíocht den scoth. Tá an foclóir difriúil—labhraímid faoi bhailiúcháin, pointí, agus íocaíochtaí (payloads) áit a labhraíonn Pinecone faoi innéacsanna, veicteoirí, agus meiteashonraí—ach fanann an scéama mar an gcéanna. Tabhair faoi deara go nglaoíonn an sampla ar an API leabaithe doiciméad ar dhoiciméad laistigh den lúb: tá sé seo inghlactha do thrí doiciméad, ach smaoinigh ar athrú ar ais go baisc chomh luath agus a fhásann an corpas.
from qdrant_client import QdrantClient
from qdrant_client.models import (
Distance, VectorParams, PointStruct, Filter,
FieldCondition, MatchValue
)
from openai import OpenAI
qclient = QdrantClient(url="http://localhost:6333")
openai_client = OpenAI()
# Create a collection
qclient.create_collection(
collection_name="my-corpus",
vectors_config=VectorParams(
size=3072,
distance=Distance.COSINE
)
)
# Index documents
points = []
for i, doc in enumerate(documents):
emb = openai_client.embeddings.create(
input=doc["texte"],
model="text-embedding-3-large"
).data[0].embedding
points.append(PointStruct(
id=i,
vector=emb,
payload={"texte": doc["texte"], "categorie": doc["categorie"]}
))
qclient.upsert(collection_name="my-corpus", points=points)
# Search with filter
query_emb = openai_client.embeddings.create(
input="deploy a web application",
model="text-embedding-3-large"
).data[0].embedding
resultats = qclient.search(
collection_name="my-corpus",
query_vector=query_emb,
limit=3,
query_filter=Filter(
must=[FieldCondition(
key="categorie",
match=MatchValue(value="tutorial")
)]
)
)
for r in resultats:
print(f"[{r.score:.3f}] {r.payload['texte']}")
Weaviate
Seasann Weaviate amach dá chuardach hibrideach dúchasach, ar ais beimid air i gceacht 9. Tá a shamhail sonraí níos struchtúrtha ná iad siúd a chuid iomaitheoirí: dearbhaíonn tú airíonna agus a gcineálacha go sainráite sula gcuireann tú aon rud isteach, rud a thugann an taithí níos gaire do bhunachar sonraí clasaiceach.
import weaviate
from openai import OpenAI
wclient = weaviate.connect_to_local()
openai_client = OpenAI()
# Create a collection
from weaviate.classes.config import Property, DataType
collection = wclient.collections.create(
name="Document",
properties=[
Property(name="texte", data_type=DataType.TEXT),
Property(name="categorie", data_type=DataType.TEXT),
]
)
# Index
for doc in documents:
emb = openai_client.embeddings.create(
input=doc["texte"],
model="text-embedding-3-large"
).data[0].embedding
collection.data.insert(
properties={"texte": doc["texte"], "categorie": doc["categorie"]},
vector=emb
)
# Search
query_emb = openai_client.embeddings.create(
input="install Python",
model="text-embedding-3-large"
).data[0].embedding
resultats = collection.query.near_vector(
near_vector=query_emb,
limit=3
)
Chroma agus pgvector
Tá Chroma dírithe ar fhréamhshamhlú: cliant marthanach dírithe ar fhillteán áitiúil, bailiúchán cruthaithe ar an eitilt, gan bonneagar. Seo an rogha a thógann tú ó innéacs NumPy go bunachar sonraí fíor gan d’timpeallacht oibre a athrú.
import chromadb
from openai import OpenAI
chroma = chromadb.PersistentClient(path="./chroma_db")
openai_client = OpenAI()
collection = chroma.get_or_create_collection("my-corpus")
# Index
for doc in documents:
emb = openai_client.embeddings.create(
input=doc["texte"],
model="text-embedding-3-large"
).data[0].embedding
collection.add(
ids=[doc["id"]],
embeddings=[emb],
documents=[doc["texte"]],
metadatas=[{"categorie": doc["categorie"]}]
)
# Search
query_emb = openai_client.embeddings.create(
input="how to install Python",
model="text-embedding-3-large"
).data[0].embedding
resultats = collection.query(query_embeddings=[query_emb], n_results=3)
Díríonn pgvector ar chás an-difriúil: tá do dhoiciméid i PostgreSQL cheana féin, lena gcuid naisc, cearta rochtana, agus cúltacaí. In ionad dara córas a thabhairt isteach le sioncronú, cuireann an leathnú cineál vector agus oibreoirí faid leis an mbunachar sonraí atá ann cheana. Ríomhann an t-oibreoir <=> fad comshínis, agus is é an t-innéacs HNSW an rud a dhéanann an cheist inúsáidte thar roinnt mílte ró.
-- pgvector extension
CREATE EXTENSION vector;
CREATE TABLE documents (
id SERIAL PRIMARY KEY,
texte TEXT,
categorie TEXT,
embedding vector(3072)
);
-- HNSW index for performance
CREATE INDEX ON documents
USING hnsw (embedding vector_cosine_ops);
-- Search for the 5 nearest neighbors
SELECT id, texte, 1 - (embedding <=> $1::vector) AS score
FROM documents
ORDER BY embedding <=> $1::vector
LIMIT 5;
Comparáid
| Critéar | Pinecone | Qdrant | Weaviate | Chroma | pgvector |
|---|---|---|---|---|---|
| Cineál | Bainistithe | Foinse oscailte | Foinse oscailte | Foinse oscailte | Leathnú |
| Óstáil | Scamall | Féin-óstáilte/Scamall | Féin-óstáilte/Scamall | Áitiúil/Leabaithe | PostgreSQL |
| Cuardach hibrideach | ✅ | ✅ | ✅ Dúchasach | ❌ | Trí SQL |
| Táirgeacht | ✅ | ✅ | ✅ | ⚠️ Fréamhshamhlú | ✅ |
| Éasca le húsáid | ✅✅ | ✅ | ✅ | ✅✅ | ✅ |
Braitheann an rogha níos lú ar fheidhmíocht amh, atá an-chóngarach sa chleachtas, ná ar do chomhthéacs: tá gach leas ag foireann a ritheann PostgreSQL cheana féin fanacht leis, roghnóidh foireann gan oibríochtaí seirbhís bhainistithe, agus casfaidh foireann a chaithfidh óstáil san Eoraip ar chúiseanna rialála chuig réitigh fhéin-óstáilte.
Príomhphointí
- Chroma le haghaidh fréamhshamhlú tapa
- pgvector má tá PostgreSQL agat cheana féin
- Pinecone le haghaidh seirbhís bhainistithe, gan bonneagar
- Qdrant le haghaidh féin-óstáil ard-fheidhmíochta
- Weaviate le haghaidh cuardaigh hibridigh dhúchasaigh