Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Bażijiet tad-data vettorjali (Pinecone, Qdrant, Weaviate)

Lezzjoni 8 / 22 Aġġornat 29 ta’ Lulju 2026 Zviluppatur
F'din il-paġna
  1. Għanijiet
  2. Għaliex bażi tad-data vettorjali?
  3. Pinecone
  4. Qdrant
  5. Weaviate
  6. Chroma u pgvector
  7. Tqabbil
  8. Punti Ewlenin

Għanijiet

  • Tifhem għaliex il-bażijiet tad-data vettorjali huma meħtieġa
  • Tqabbel bejn Pinecone, Qdrant, Weaviate, Chroma, u pgvector
  • Timplimenta t-tfittxija ma’ kull waħda minnhom

Għaliex bażi tad-data vettorjali?

L-indiċi NumPy mil-lezzjoni preċedenti jaħdem perfettament għal ftit eluf ta’ dokumenti għax skan eżawrjenti ta’ għaxart elef vettur jibqa’ imperċettibbli. F’miljun, dik l-istess kalkolu jsir sekonda ta’ latenza għal kull mistoqsija, u l-matriċi ma tibqax tidħol b’mod komdu fil-memorja.

Erba’ ħtiġijiet joħorġu flimkien. It-tfittxija ANN (Approximate Nearest Neighbors) titlaq il-garanzija ta’ riżultat eżatt favur tweġiba f’millisekondi fuq miljuni ta’ vetturi—kompromess li kważi dejjem huwa aċċettabbli, peress li r-ritorn tal-ħames l-aqwa dokument minflok ir-raba’ ma jbiddel xejn għall-esperjenza tal-utent. Il-filtrar tal-metadejta magħqud mat-tfittxija vettorjali jħallik tirrestrinġi mistoqsija għal kategorija, lingwa, jew firxa ta’ dati mingħajr post-ipproċessar. Il-persistenza u aġġornamenti f’ħin reali jevitaw li tibni mill-ġdid fajl sħiħ biss biex iżżid dokument. Fl-aħħar nett, l-iskalar orizzontali huwa dak li jiddistingwi prototip minn servizz ta’ produzzjoni.

Pinecone

Pinecone huwa servizz immaniġġjat: ma tipprovdi l-ebda server, toħloq indiċi billi tispeċifika d-dimensjoni u l-metrika tiegħu, u l-bqija tiġi ttrattata għalik. Innota l-filtru categorie mgħoddi direttament lil query—it-tfittxija vettorjali u l-filtrar iseħħu flimkien, mhux wieħed wara l-ieħor.

from pinecone import Pinecone
from openai import OpenAI

pc = Pinecone(api_key="your-pinecone-key")
openai_client = OpenAI()

# Create an index
pc.create_index(
    name="my-corpus",
    dimension=3072,
    metric="cosine",
    spec={"serverless": {"cloud": "aws", "region": "eu-west-1"}}
)

index = pc.Index("my-corpus")

# Index documents
documents = [
    {"id": "doc1", "texte": "Python Installation Guide",
     "categorie": "tutorial"},
    {"id": "doc2", "texte": "Deploying a Flask Application",
     "categorie": "tutorial"},
    {"id": "doc3", "texte": "Q1 2026 Quarterly Report",
     "categorie": "report"},
]

# Generate embeddings
textes = [d["texte"] for d in documents]
response = openai_client.embeddings.create(
    input=textes,
    model="text-embedding-3-large"
)

# Upsert into Pinecone
vecteurs = [
    {
        "id": doc["id"],
        "values": emb.embedding,
        "metadata": {"texte": doc["texte"], "categorie": doc["categorie"]}
    }
    for doc, emb in zip(documents, response.data)
]
index.upsert(vectors=vecteurs)

# Search
query_emb = openai_client.embeddings.create(
    input="how to install Python",
    model="text-embedding-3-large"
).data[0].embedding

resultats = index.query(
    vector=query_emb,
    top_k=3,
    include_metadata=True,
    filter={"categorie": {"$eq": "tutorial"}}
)

for match in resultats.matches:
    print(f"[{match.score:.3f}] {match.metadata['texte']}")

Id-dimensjoni ddikjarata fil-ħolqien hija finali: il-bidla minn text-embedding-3-large għal text-embedding-3-small teħtieġ li terġa’ toħloq l-indiċi. Għalhekk, iddeċiedi dwar il-mudell qabel, mhux wara.

Qdrant

Qdrant huwa open source, ospitat minnek innifsek (self-hosted), u joffri prestazzjoni eċċellenti. Il-vokabolarju jvarja—nitkellmu dwar kollezzjonijiet, punti, u payloads fejn Pinecone jkellem dwar indiċijiet, vetturi, u metadejta—iżda l-iskema tibqa’ identika. Innota li l-eżempju jsejjaħ l-API tal-embedding dokument b’dokument ġol-loop: dan huwa aċċettabbli għal tliet dokumenti, iżda ħsieb dwar il-bidla lura għal batches hekk kif il-corpus jikber.

from qdrant_client import QdrantClient
from qdrant_client.models import (
    Distance, VectorParams, PointStruct, Filter,
    FieldCondition, MatchValue
)
from openai import OpenAI

qclient = QdrantClient(url="http://localhost:6333")
openai_client = OpenAI()

# Create a collection
qclient.create_collection(
    collection_name="my-corpus",
    vectors_config=VectorParams(
        size=3072,
        distance=Distance.COSINE
    )
)

# Index documents
points = []
for i, doc in enumerate(documents):
    emb = openai_client.embeddings.create(
        input=doc["texte"],
        model="text-embedding-3-large"
    ).data[0].embedding

    points.append(PointStruct(
        id=i,
        vector=emb,
        payload={"texte": doc["texte"], "categorie": doc["categorie"]}
    ))

qclient.upsert(collection_name="my-corpus", points=points)

# Search with filter
query_emb = openai_client.embeddings.create(
    input="deploy a web application",
    model="text-embedding-3-large"
).data[0].embedding

resultats = qclient.search(
    collection_name="my-corpus",
    query_vector=query_emb,
    limit=3,
    query_filter=Filter(
        must=[FieldCondition(
            key="categorie",
            match=MatchValue(value="tutorial")
        )]
    )
)

for r in resultats:
    print(f"[{r.score:.3f}] {r.payload['texte']}")

Weaviate

Weaviate jispikka bit-tfittxija ibrida nattiva tiegħu, li nerġgħu nħarsu lejha fil-lezzjoni 9. Il-mudell tad-data tiegħu huwa aktar strutturat minn dak tal-kompetituri tiegħu: tiddikjara espliċitament il-proprjetajiet u t-tipi tagħhom qabel ma tdaħħal xejn, li jqarreb l-esperjenza għal dik ta’ bażi tad-data klassika.

import weaviate
from openai import OpenAI

wclient = weaviate.connect_to_local()
openai_client = OpenAI()

# Create a collection
from weaviate.classes.config import Property, DataType

collection = wclient.collections.create(
    name="Document",
    properties=[
        Property(name="texte", data_type=DataType.TEXT),
        Property(name="categorie", data_type=DataType.TEXT),
    ]
)

# Index
for doc in documents:
    emb = openai_client.embeddings.create(
        input=doc["texte"],
        model="text-embedding-3-large"
    ).data[0].embedding

    collection.data.insert(
        properties={"texte": doc["texte"], "categorie": doc["categorie"]},
        vector=emb
    )

# Search
query_emb = openai_client.embeddings.create(
    input="install Python",
    model="text-embedding-3-large"
).data[0].embedding

resultats = collection.query.near_vector(
    near_vector=query_emb,
    limit=3
)

Chroma u pgvector

Chroma jimmira lejn il-prototipar: klijent persistenti ppuntat lejn folder lokali, kollezzjoni maħluqa fuq it-titjira, l-ebda infrastruttura. Din hija l-għażla li tieħdek minn indiċi NumPy għal bażi tad-data reali mingħajr ma tbiddel l-ambjent tax-xogħol tiegħek.

import chromadb
from openai import OpenAI

chroma = chromadb.PersistentClient(path="./chroma_db")
openai_client = OpenAI()

collection = chroma.get_or_create_collection("my-corpus")

# Index
for doc in documents:
    emb = openai_client.embeddings.create(
        input=doc["texte"],
        model="text-embedding-3-large"
    ).data[0].embedding

    collection.add(
        ids=[doc["id"]],
        embeddings=[emb],
        documents=[doc["texte"]],
        metadatas=[{"categorie": doc["categorie"]}]
    )

# Search
query_emb = openai_client.embeddings.create(
    input="how to install Python",
    model="text-embedding-3-large"
).data[0].embedding

resultats = collection.query(query_embeddings=[query_emb], n_results=3)

pgvector jindirizza sitwazzjoni differenti ħafna: id-dokumenti tiegħek diġà huma f’PostgreSQL, bil-joins, id-drittijiet ta’ aċċess, u l-backups tagħhom. Minflok tintroduċi sistema sekondarja biex tissinkronizza, l-estensjoni żżid tip vector u operaturi tad-distanza lill-bażi tad-data eżistenti. L-operatur <=> jikkalkula d-distanza tal-cosine, u l-indiċi HNSW huwa dak li jagħmel il-mistoqsija użabbli lil hinn minn ftit eluf ta’ ringieli.

-- pgvector extension
CREATE EXTENSION vector;

CREATE TABLE documents (
    id SERIAL PRIMARY KEY,
    texte TEXT,
    categorie TEXT,
    embedding vector(3072)
);

-- HNSW index for performance
CREATE INDEX ON documents
USING hnsw (embedding vector_cosine_ops);

-- Search for the 5 nearest neighbors
SELECT id, texte, 1 - (embedding <=> $1::vector) AS score
FROM documents
ORDER BY embedding <=> $1::vector
LIMIT 5;

Tqabbil

KriterjuPineconeQdrantWeaviateChromapgvector
TipImmaniġġjatOpen sourceOpen sourceOpen sourceEstensjoni
HostingCloudSelf-hosted/CloudSelf-hosted/CloudLokali/EmbedPostgreSQL
Tfittxija ibrida✅✅✅ Nattiva❌Permezz ta’ SQL
Produzzjoni✅✅✅⚠️ Prototipar✅
Faċilità ta’ użu✅✅✅✅✅✅✅

L-għażla tiddependi inqas mill-prestazzjoni raw, li hija qrib ħafna fil-prattika, milli mill-kuntest tiegħek: tim li diġà jmexxi PostgreSQL għandu kull interess li jibqa’ miegħu, tim mingħajr ops jagħżel servizz immaniġġjat, u tim li jrid jospita fl-Ewropa għal raġunijiet regolatorji jdur lejn soluzzjonijiet self-hosted.

Punti Ewlenin

  • Chroma għal prototipar rapidu
  • pgvector jekk diġà għandek PostgreSQL
  • Pinecone għal servizz immaniġġjat, mingħajr infrastruttura
  • Qdrant għal hosting self-hosted ta’ prestazzjoni għolja
  • Weaviate għal tfittxija ibrida nattiva