Vector Store με FAISS
Σε αυτήν τη σελίδα
FAISS: Αναζήτηση Διανυσμάτων Υψηλής Απόδοσης
Έχετε υπολογίσει και αποθηκεύσει τα embeddings σας, αλλά ένας πίνακας NumPy δεν αποτελεί μηχανή αναζήτησης: η σύγκριση ενός ερωτήματος με 100.000 διανύσματα χρησιμοποιώντας έναν βρόχο Python θα απαιτούσε αρκετά δευτερόλεπτα ανά ερώτηση. Το FAISS (Facebook AI Similarity Search) λύνει ακριβώς αυτό το πρόβλημα. Αυτή η βιβλιοθήκη ανοιχτού κώδικα από τη Meta έχει σχεδιαστεί για αναζήτηση ομοιότητας σε μεγάλα σύνολα διανυσμάτων· είναι γρήγορη, αποδοτική ως προς τη μνήμη και λειτουργεί εξίσου καλά με μερικές εκατοντάδες διανύσματα όσο και με εκατομμύρια. Η εγκατάσταση απαιτεί μία μόνο εντολή. Το faiss-cpu αρκεί στη συντριπτική πλειοψηφία των περιπτώσεων· το faiss-gpu δικαιολογείται μόνο για όγκους δεδομένων όπου ο υπολογισμός αποτελεί το σημείο συμφόρησης.
# pip install faiss-cpu
# or faiss-gpu for GPU acceleration
import faiss
import numpy as np
Δημιουργία του Πρώτου σας Ευρετηρίου
Το απλούστερο ευρετήριο είναι το IndexFlatL2, το οποίο εκτελεί εξαντλητική αναζήτηση χρησιμοποιώντας την απόσταση L2 (Ευκλείδεια). Ο όρος «εξαντλητική» σημαίνει ότι συγκρίνει πραγματικά το ερώτημα με κάθε αποθηκευμένο διάνυσμα: χωρίς προσέγγιση, άρα χωρίς χαμένα αποτελέσματα. Το αρχικοποιείτε με τη διάσταση του διανύσματος—1024 για το mistral-embed, μια τιμή που διαβάζετε απευθείας από το σχήμα του πίνακα αντί να την κωδικοποιήσετε στατικά. Η μετατροπή σε float32 δεν είναι προαιρετική: το FAISS απορρίπτει το float64 που παράγει το NumPy εξ ορισμού, και η παράβλεψη αυτής της λεπτομέρειας είναι το πρώτο σφάλμα που συναντά κάθε αρχάριος.
# Assume our embeddings are a NumPy matrix
# embeddings.shape = (n_chunks, 1024)
# Create the index
dimension = embeddings.shape[1] # 1024 for mistral-embed
index = faiss.IndexFlatL2(dimension)
# Add the vectors
index.add(embeddings.astype(np.float32)) # FAISS requires float32
print(f"Index created: {index.ntotal} vectors of dimension {dimension}")
Επιλογή του Κατάλληλου Τύπου Ευρετηρίου
Το FAISS δεν προσφέρει ένα μοναδικό ευρετήριο, αλλά μια οικογένεια από αυτά, και η επιλογή συνεπάγεται έναν συμβιβασμό μεταξύ ακρίβειας και ταχύτητας. Τα δύο πρώτα, IndexFlatL2 και IndexFlatIP, είναι ακριβή: διαφέρουν μόνο ως προς τη μετρική που χρησιμοποιούν, την Ευκλείδεια απόσταση για το ένα και το εσωτερικό γινόμενο για το άλλο. Το IndexIVFFlat αλλάζει τη λογική διαμερίζοντας τον χώρο σε συστάδες (clusters) και αναζητώντας μόνο τις πιο υποσχόμενες, γεγονός που επιταχύνει σημαντικά την αναζήτηση εις βάρος μιας μικρής απώλειας στην ανάκληση (recall)—και απαιτεί προηγούμενη εκπαίδευση στα δεδομένα σας. Τέλος, το IndexHNSWFlat κατασκευάζει έναν γράφο γειτόνων και αποδεικνύεται πολύ γρήγορο κατά τα ερωτήματα, με την παράμετρο 32 να ορίζει εδώ τον αριθμό των γειτόνων που διατηρούνται ανά κόμβο.
dimension = 1024
# 1. IndexFlatL2: Exact search, L2 distance
# Most accurate, but slowest for large volumes
index_flat_l2 = faiss.IndexFlatL2(dimension)
# 2. IndexFlatIP: Exact search, dot product (inner product)
# Use with normalized vectors for cosine similarity
index_flat_ip = faiss.IndexFlatIP(dimension)
# 3. IndexIVFFlat: Approximate search with partitioning
# Faster for large volumes, slight loss of accuracy
nlist = 100 # Number of partitions (clusters)
quantizer = faiss.IndexFlatL2(dimension)
index_ivf = faiss.IndexIVFFlat(quantizer, dimension, nlist)
# Requires training before use:
# index_ivf.train(embeddings)
# index_ivf.add(embeddings)
# 4. IndexHNSWFlat: Neighbor graph (very fast search)
index_hnsw = faiss.IndexHNSWFlat(dimension, 32) # 32 = number of neighbors
Εκτέλεση Ερωτημάτων στο Ευρετήριο
Η αναζήτηση πραγματοποιείται σε τρία βήματα. Πρώτον, κωδικοποιήστε την ερώτηση του χρήστη με το ίδιο μοντέλο όπως και το σώμα κειμένου—ένα ερώτημα κωδικοποιημένο από διαφορετικό μοντέλο θα απέδιδε αποστάσεις χωρίς νόημα. Στη συνέχεια, το FAISS επιστρέφει δύο παράλληλους πίνακες: τις αποστάσεις και τους δείκτες των k πλησιέστερων γειτόνων. Αυτοί οι δείκτες αντιστοιχούν σε θέσεις στη λίστα των τμημάτων (chunks) σας: εδώ αποδίδει η πειθαρχία του προηγούμενου μαθήματος, καθώς η ευθυγράμμιση μεταξύ του πίνακα και των μεταδεδομένων είναι που σας επιτρέπει να εντοπίσετε ξανά το κείμενο και την πηγή του. Ο έλεγχος if idx >= 0 καλύπτει την περίπτωση όπου το ευρετήριο περιέχει λιγότερα από k διανύσματα, οπότε το FAISS συμπληρώνει τις κενές θέσεις με -1.
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
def search_index(query, index, chunks, k=5):
"""Search for chunks closest to a query."""
# 1. Encode the query
response = client.embeddings.create(
model="mistral-embed",
inputs=[query],
)
query_vector = np.array([response.data[0].embedding], dtype=np.float32)
# 2. Search in FAISS
distances, indices = index.search(query_vector, k)
# 3. Format results
results = []
for i, (dist, idx) in enumerate(zip(distances[0], indices[0])):
if idx >= 0: # FAISS returns -1 if not enough results
results.append({
"rank": i + 1,
"distance": float(dist),
"text": chunks[idx]["text"],
"source": chunks[idx].get("source", ""),
})
return results
# Example search
results = search_index("How does RAG work?", index, chunks)
for r in results:
print(f" #{r['rank']} (dist: {r['distance']:.4f}) [{r['source']}]")
print(f" {r['text'][:100]}...")
Μετάβαση στην Ομοιότητα Συνημιτόνου
Το FAISS δεν προσφέρει ρητά ένα ευρετήριο «συνημιτόνου», αλλά η άλγεβρα παρέχει έναν δωρεάν ισοδύναμο τρόπο: για διανύσματα με νόρμα 1, το εσωτερικό γινόμενο είναι το συνημίτονο. Απλώς διαιρείτε κάθε διάνυσμα με τη νόρμα του και στη συνέχεια χρησιμοποιείτε το IndexFlatIP. Αυτή η αλλαγή κάθε άλλο παρά θεωρητική είναι: η απόσταση L2 είναι ευαίσθητη στο μήκος του διανύσματος, επομένως ένα πολύ μεγάλο τμήμα κειμένου μπορεί τελικά να βρεθεί τεχνητά μακριά από ένα σύντομο ερώτημα, ακόμα και αν τα θέματά τους ταιριάζουν. Το συνημίτονο μετρά μόνο τον προσανατολισμό, άρα το νόημα, και αυτό είναι γενικά αυτό που θέλετε να συγκρίνετε.
def create_cosine_index(embeddings):
"""Create a FAISS index with cosine similarity."""
# Normalize vectors (L2 norm = 1)
norms = np.linalg.norm(embeddings, axis=1, keepdims=True)
normalized = (embeddings / norms).astype(np.float32)
# Use IndexFlatIP (dot product = cosine for normalized vectors)
dimension = normalized.shape[1]
index = faiss.IndexFlatIP(dimension)
index.add(normalized)
return index
cosine_index = create_cosine_index(embeddings)
Όπως και με τα embeddings, το ευρετήριο παραμένει αποθηκευμένο στον δίσκο. Η συνάρτηση faiss.write_index παράγει ένα δυαδικό αρχείο που η faiss.read_index φορτώνει ως έχει, συμπεριλαμβανομένων των εσωτερικών δομών—γεγονός που έχει τη μεγαλύτερη σημασία για τα εκπαιδευμένα ευρετήρια, όπου διαφορετικά θα έπρεπε να επαναληφθεί η ανακατασκευή.
# Save
faiss.write_index(index, "rag_faiss.index")
print("FAISS index saved")
# Load
index_loaded = faiss.read_index("rag_faiss.index")
print(f"Index loaded: {index_loaded.ntotal} vectors")
Όταν το Σώμα Κειμένου Γίνεται Τεράστιο
Ξεκινώντας από μερικές εκατοντάδες χιλιάδες διανύσματα, η εξαντλητική αναζήτηση γίνεται πολύ αργή και το ευρετήριο IVF (Inverted File) καθίσταται απαραίτητο. Ο κύκλος ζωής του περιλαμβάνει ένα βήμα που τα επίπεδα ευρετήρια δεν έχουν: την εκπαίδευση, η οποία αναλύει την κατανομή των δεδομένων σας για να τοποθετήσει τα κεντροειδή των nlist διαμερισμάτων. Ακολουθεί η προσθήκη των διανυσμάτων και στη συνέχεια η ρύθμιση του nprobe, του μοχλού που αποφασίζει πόσοι διαμερισμοί θα εξερευνηθούν ανά ερώτημα. Η αύξηση του nprobe βελτιώνει την ανάκληση και επιβραδύνει την αναζήτηση· αυτή είναι η παράμετρος που θα προσαρμόσετε μετρώντας, σε ένα αντιπροσωπευτικό σύνολο ερωτήσεων, το σημείο στο οποίο τα αποτελέσματα παύουν να βελτιώνονται.
def create_ivf_index(embeddings, nlist=100, nprobe=10):
"""Create an IVF index for large volumes."""
dimension = embeddings.shape[1]
data = embeddings.astype(np.float32)
# Create the quantizer and IVF index
quantizer = faiss.IndexFlatL2(dimension)
index = faiss.IndexIVFFlat(quantizer, dimension, nlist)
# Train the index (required for IVF)
print("Training index...")
index.train(data)
# Add the vectors
index.add(data)
# Number of partitions to explore during search
index.nprobe = nprobe # Higher = more accurate, slower
print(f"IVF index created: {index.ntotal} vectors, {nlist} partitions")
return index
# For 100K+ vectors
# large_index = create_ivf_index(embeddings, nlist=256, nprobe=20)
Βασικά σημεία
- Το FAISS είναι το πρότυπο για γρήγορη αναζήτηση διανυσμάτων
IndexFlatL2για μικρά σώματα κειμένου (κάτω από 100.000 διανύσματα), ακριβής αναζήτησηIndexIVFFlatγια μεγάλα σώματα κειμένου, κατά προσέγγιση αλλά γρήγορη αναζήτηση- Κανονικοποιήστε τα διανύσματα και χρησιμοποιήστε το
IndexFlatIPγια ομοιότητα συνημιτόνου - Αποθηκεύστε το ευρετήριο στον δίσκο με το
faiss.write_indexγια να αποφύγετε την εκ νέου δημιουργία του