Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Vector Store με FAISS

Μάθημα 12 / 18 Ενημερώθηκε 2 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. FAISS: Αναζήτηση Διανυσμάτων Υψηλής Απόδοσης
  2. Δημιουργία του Πρώτου σας Ευρετηρίου
  3. Επιλογή του Κατάλληλου Τύπου Ευρετηρίου
  4. Εκτέλεση Ερωτημάτων στο Ευρετήριο
  5. Μετάβαση στην Ομοιότητα Συνημιτόνου
  6. Όταν το Σώμα Κειμένου Γίνεται Τεράστιο
  7. Βασικά σημεία

FAISS: Αναζήτηση Διανυσμάτων Υψηλής Απόδοσης

Έχετε υπολογίσει και αποθηκεύσει τα embeddings σας, αλλά ένας πίνακας NumPy δεν αποτελεί μηχανή αναζήτησης: η σύγκριση ενός ερωτήματος με 100.000 διανύσματα χρησιμοποιώντας έναν βρόχο Python θα απαιτούσε αρκετά δευτερόλεπτα ανά ερώτηση. Το FAISS (Facebook AI Similarity Search) λύνει ακριβώς αυτό το πρόβλημα. Αυτή η βιβλιοθήκη ανοιχτού κώδικα από τη Meta έχει σχεδιαστεί για αναζήτηση ομοιότητας σε μεγάλα σύνολα διανυσμάτων· είναι γρήγορη, αποδοτική ως προς τη μνήμη και λειτουργεί εξίσου καλά με μερικές εκατοντάδες διανύσματα όσο και με εκατομμύρια. Η εγκατάσταση απαιτεί μία μόνο εντολή. Το faiss-cpu αρκεί στη συντριπτική πλειοψηφία των περιπτώσεων· το faiss-gpu δικαιολογείται μόνο για όγκους δεδομένων όπου ο υπολογισμός αποτελεί το σημείο συμφόρησης.

# pip install faiss-cpu
# or faiss-gpu for GPU acceleration

import faiss
import numpy as np

Δημιουργία του Πρώτου σας Ευρετηρίου

Το απλούστερο ευρετήριο είναι το IndexFlatL2, το οποίο εκτελεί εξαντλητική αναζήτηση χρησιμοποιώντας την απόσταση L2 (Ευκλείδεια). Ο όρος «εξαντλητική» σημαίνει ότι συγκρίνει πραγματικά το ερώτημα με κάθε αποθηκευμένο διάνυσμα: χωρίς προσέγγιση, άρα χωρίς χαμένα αποτελέσματα. Το αρχικοποιείτε με τη διάσταση του διανύσματος—1024 για το mistral-embed, μια τιμή που διαβάζετε απευθείας από το σχήμα του πίνακα αντί να την κωδικοποιήσετε στατικά. Η μετατροπή σε float32 δεν είναι προαιρετική: το FAISS απορρίπτει το float64 που παράγει το NumPy εξ ορισμού, και η παράβλεψη αυτής της λεπτομέρειας είναι το πρώτο σφάλμα που συναντά κάθε αρχάριος.

# Assume our embeddings are a NumPy matrix
# embeddings.shape = (n_chunks, 1024)

# Create the index
dimension = embeddings.shape[1]  # 1024 for mistral-embed
index = faiss.IndexFlatL2(dimension)

# Add the vectors
index.add(embeddings.astype(np.float32))  # FAISS requires float32

print(f"Index created: {index.ntotal} vectors of dimension {dimension}")

Επιλογή του Κατάλληλου Τύπου Ευρετηρίου

Το FAISS δεν προσφέρει ένα μοναδικό ευρετήριο, αλλά μια οικογένεια από αυτά, και η επιλογή συνεπάγεται έναν συμβιβασμό μεταξύ ακρίβειας και ταχύτητας. Τα δύο πρώτα, IndexFlatL2 και IndexFlatIP, είναι ακριβή: διαφέρουν μόνο ως προς τη μετρική που χρησιμοποιούν, την Ευκλείδεια απόσταση για το ένα και το εσωτερικό γινόμενο για το άλλο. Το IndexIVFFlat αλλάζει τη λογική διαμερίζοντας τον χώρο σε συστάδες (clusters) και αναζητώντας μόνο τις πιο υποσχόμενες, γεγονός που επιταχύνει σημαντικά την αναζήτηση εις βάρος μιας μικρής απώλειας στην ανάκληση (recall)—και απαιτεί προηγούμενη εκπαίδευση στα δεδομένα σας. Τέλος, το IndexHNSWFlat κατασκευάζει έναν γράφο γειτόνων και αποδεικνύεται πολύ γρήγορο κατά τα ερωτήματα, με την παράμετρο 32 να ορίζει εδώ τον αριθμό των γειτόνων που διατηρούνται ανά κόμβο.

dimension = 1024

# 1. IndexFlatL2: Exact search, L2 distance
# Most accurate, but slowest for large volumes
index_flat_l2 = faiss.IndexFlatL2(dimension)

# 2. IndexFlatIP: Exact search, dot product (inner product)
# Use with normalized vectors for cosine similarity
index_flat_ip = faiss.IndexFlatIP(dimension)

# 3. IndexIVFFlat: Approximate search with partitioning
# Faster for large volumes, slight loss of accuracy
nlist = 100  # Number of partitions (clusters)
quantizer = faiss.IndexFlatL2(dimension)
index_ivf = faiss.IndexIVFFlat(quantizer, dimension, nlist)
# Requires training before use:
# index_ivf.train(embeddings)
# index_ivf.add(embeddings)

# 4. IndexHNSWFlat: Neighbor graph (very fast search)
index_hnsw = faiss.IndexHNSWFlat(dimension, 32)  # 32 = number of neighbors

Εκτέλεση Ερωτημάτων στο Ευρετήριο

Η αναζήτηση πραγματοποιείται σε τρία βήματα. Πρώτον, κωδικοποιήστε την ερώτηση του χρήστη με το ίδιο μοντέλο όπως και το σώμα κειμένου—ένα ερώτημα κωδικοποιημένο από διαφορετικό μοντέλο θα απέδιδε αποστάσεις χωρίς νόημα. Στη συνέχεια, το FAISS επιστρέφει δύο παράλληλους πίνακες: τις αποστάσεις και τους δείκτες των k πλησιέστερων γειτόνων. Αυτοί οι δείκτες αντιστοιχούν σε θέσεις στη λίστα των τμημάτων (chunks) σας: εδώ αποδίδει η πειθαρχία του προηγούμενου μαθήματος, καθώς η ευθυγράμμιση μεταξύ του πίνακα και των μεταδεδομένων είναι που σας επιτρέπει να εντοπίσετε ξανά το κείμενο και την πηγή του. Ο έλεγχος if idx >= 0 καλύπτει την περίπτωση όπου το ευρετήριο περιέχει λιγότερα από k διανύσματα, οπότε το FAISS συμπληρώνει τις κενές θέσεις με -1.

from mistralai.client import Mistral

client = Mistral(api_key=api_key)

def search_index(query, index, chunks, k=5):
    """Search for chunks closest to a query."""
    # 1. Encode the query
    response = client.embeddings.create(
        model="mistral-embed",
        inputs=[query],
    )
    query_vector = np.array([response.data[0].embedding], dtype=np.float32)

    # 2. Search in FAISS
    distances, indices = index.search(query_vector, k)

    # 3. Format results
    results = []
    for i, (dist, idx) in enumerate(zip(distances[0], indices[0])):
        if idx >= 0:  # FAISS returns -1 if not enough results
            results.append({
                "rank": i + 1,
                "distance": float(dist),
                "text": chunks[idx]["text"],
                "source": chunks[idx].get("source", ""),
            })

    return results

# Example search
results = search_index("How does RAG work?", index, chunks)
for r in results:
    print(f"  #{r['rank']} (dist: {r['distance']:.4f}) [{r['source']}]")
    print(f"    {r['text'][:100]}...")

Μετάβαση στην Ομοιότητα Συνημιτόνου

Το FAISS δεν προσφέρει ρητά ένα ευρετήριο «συνημιτόνου», αλλά η άλγεβρα παρέχει έναν δωρεάν ισοδύναμο τρόπο: για διανύσματα με νόρμα 1, το εσωτερικό γινόμενο είναι το συνημίτονο. Απλώς διαιρείτε κάθε διάνυσμα με τη νόρμα του και στη συνέχεια χρησιμοποιείτε το IndexFlatIP. Αυτή η αλλαγή κάθε άλλο παρά θεωρητική είναι: η απόσταση L2 είναι ευαίσθητη στο μήκος του διανύσματος, επομένως ένα πολύ μεγάλο τμήμα κειμένου μπορεί τελικά να βρεθεί τεχνητά μακριά από ένα σύντομο ερώτημα, ακόμα και αν τα θέματά τους ταιριάζουν. Το συνημίτονο μετρά μόνο τον προσανατολισμό, άρα το νόημα, και αυτό είναι γενικά αυτό που θέλετε να συγκρίνετε.

def create_cosine_index(embeddings):
    """Create a FAISS index with cosine similarity."""
    # Normalize vectors (L2 norm = 1)
    norms = np.linalg.norm(embeddings, axis=1, keepdims=True)
    normalized = (embeddings / norms).astype(np.float32)

    # Use IndexFlatIP (dot product = cosine for normalized vectors)
    dimension = normalized.shape[1]
    index = faiss.IndexFlatIP(dimension)
    index.add(normalized)

    return index

cosine_index = create_cosine_index(embeddings)

Όπως και με τα embeddings, το ευρετήριο παραμένει αποθηκευμένο στον δίσκο. Η συνάρτηση faiss.write_index παράγει ένα δυαδικό αρχείο που η faiss.read_index φορτώνει ως έχει, συμπεριλαμβανομένων των εσωτερικών δομών—γεγονός που έχει τη μεγαλύτερη σημασία για τα εκπαιδευμένα ευρετήρια, όπου διαφορετικά θα έπρεπε να επαναληφθεί η ανακατασκευή.

# Save
faiss.write_index(index, "rag_faiss.index")
print("FAISS index saved")

# Load
index_loaded = faiss.read_index("rag_faiss.index")
print(f"Index loaded: {index_loaded.ntotal} vectors")

Όταν το Σώμα Κειμένου Γίνεται Τεράστιο

Ξεκινώντας από μερικές εκατοντάδες χιλιάδες διανύσματα, η εξαντλητική αναζήτηση γίνεται πολύ αργή και το ευρετήριο IVF (Inverted File) καθίσταται απαραίτητο. Ο κύκλος ζωής του περιλαμβάνει ένα βήμα που τα επίπεδα ευρετήρια δεν έχουν: την εκπαίδευση, η οποία αναλύει την κατανομή των δεδομένων σας για να τοποθετήσει τα κεντροειδή των nlist διαμερισμάτων. Ακολουθεί η προσθήκη των διανυσμάτων και στη συνέχεια η ρύθμιση του nprobe, του μοχλού που αποφασίζει πόσοι διαμερισμοί θα εξερευνηθούν ανά ερώτημα. Η αύξηση του nprobe βελτιώνει την ανάκληση και επιβραδύνει την αναζήτηση· αυτή είναι η παράμετρος που θα προσαρμόσετε μετρώντας, σε ένα αντιπροσωπευτικό σύνολο ερωτήσεων, το σημείο στο οποίο τα αποτελέσματα παύουν να βελτιώνονται.

def create_ivf_index(embeddings, nlist=100, nprobe=10):
    """Create an IVF index for large volumes."""
    dimension = embeddings.shape[1]
    data = embeddings.astype(np.float32)

    # Create the quantizer and IVF index
    quantizer = faiss.IndexFlatL2(dimension)
    index = faiss.IndexIVFFlat(quantizer, dimension, nlist)

    # Train the index (required for IVF)
    print("Training index...")
    index.train(data)

    # Add the vectors
    index.add(data)

    # Number of partitions to explore during search
    index.nprobe = nprobe  # Higher = more accurate, slower

    print(f"IVF index created: {index.ntotal} vectors, {nlist} partitions")
    return index

# For 100K+ vectors
# large_index = create_ivf_index(embeddings, nlist=256, nprobe=20)

Βασικά σημεία

  • Το FAISS είναι το πρότυπο για γρήγορη αναζήτηση διανυσμάτων
  • IndexFlatL2 για μικρά σώματα κειμένου (κάτω από 100.000 διανύσματα), ακριβής αναζήτηση
  • IndexIVFFlat για μεγάλα σώματα κειμένου, κατά προσέγγιση αλλά γρήγορη αναζήτηση
  • Κανονικοποιήστε τα διανύσματα και χρησιμοποιήστε το IndexFlatIP για ομοιότητα συνημιτόνου
  • Αποθηκεύστε το ευρετήριο στον δίσκο με το faiss.write_index για να αποφύγετε την εκ νέου δημιουργία του