Το μοντέλο mistral-embed
Σε αυτήν τη σελίδα
Επισκόπηση του mistral-embed
Το mistral-embed είναι το μοντέλο ενσωμάτωσης κειμένου (text embedding) της Mistral AI. Μετατρέπει οποιοδήποτε κείμενο σε ένα διάνυσμα 1024 διαστάσεων, ανεξάρτητα από το μήκος της εισόδου—είτε πρόκειται για μια σύντομη πρόταση είτε για μια ολόκληρη παράγραφο, το διάνυσμα εξόδου έχει πάντα το ίδιο μέγεθος. Αυτή η σταθερή διάσταση δεν είναι μια ασήμαντη λεπτομέρεια: σας επιτρέπει να ευρετηριάσετε τόσο έναν τίτλο προϊόντος όσο και την πλήρη περιγραφή του στον ίδιο διανυσματικό χώρο και στη συνέχεια να τους συγκρίνετε απευθείας, χωρίς καμία ειδική επεξεργασία για τη συμφιλίωση διαφορετικών μορφών.
Αυτό το μοντέλο είναι βελτιστοποιημένο για εργασίες σημασιολογικής αναζήτησης, ταξινόμησης και ομαδοποίησης (clustering) σε κείμενα φυσικής γλώσσας (άρθρα, έγγραφα, συνομιλίες και άλλα). Χρησιμοποιήστε το για να ευρετηριάσετε μια βάση γνώσεων, Συχνές Ερωτήσεις (FAQ), πρακτικά συναντήσεων ή ένα αρχείο αιτημάτων υποστήριξης δεκαετίας.
Ρύθμιση και Εγκατάσταση
Πριν καλέσετε το API, εγκαταστήστε το Mistral Python SDK και διαμορφώστε το κλειδί API σας:
# Installation
# pip install mistralai
import os
from mistralai.client import Mistral
# Initialize the client
api_key = os.environ.get("MISTRAL_API_KEY")
client = Mistral(api_key=api_key)
Λάβετε το κλειδί API σας από την κονσόλα της Mistral. Αποθηκεύστε το σε μια μεταβλητή περιβάλλοντος για να το κρατήσετε εκτός του κώδικά σας. Η ανάγνωση μέσω του os.environ.get δεν είναι απλώς θεωρητική υγιεινή: αποτρέπει την καταγραφή του κλειδιού σας σε ένα στιγμιότυπο του ιστορικού Git την ημέρα που το έργο σας γίνεται δημόσιο.
Δημιουργία Ενσωματώσεων
Η κλήση API είναι απλή: περάστε μια λίστα κειμένων και ανακτήστε τα αντίστοιχα διανύσματα. Σημειώστε ότι ακόμη και για ένα μόνο κείμενο, η είσοδος πρέπει να είναι λίστα—το API λειτουργεί πάντα σε παρτίδες (batches), κάτι που αποδίδει μόλις αυξηθεί το σώμα κειμένων (corpus) σας.
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
# Generate embeddings for one or more texts
response = client.embeddings.create(
model="mistral-embed",
inputs=[
"Embeddings capture semantic meaning.",
"Mistral AI offers high-performance models.",
"RAG improves response quality."
],
)
# Access the vectors
for i, data in enumerate(response.data):
print(f"Text {i+1}: vector of {len(data.embedding)} dimensions")
print(f" First elements: {data.embedding[:5]}")
Τυπική έξοδος:
Text 1: vector of 1024 dimensions
First elements: [0.0234, -0.1567, 0.0891, 0.0123, -0.0456]
Text 2: vector of 1024 dimensions
First elements: [0.0189, -0.1234, 0.0678, 0.0345, -0.0567]
Text 3: vector of 1024 dimensions
First elements: [0.0312, -0.1456, 0.0789, 0.0234, -0.0345]
Δομή Απόκρισης API
Η απόκριση περιέχει περισσότερα από απλά διανύσματα. Σας λέει επίσης ποιο μοντέλο χρησιμοποιήθηκε πραγματικά και πόσα tokens καταναλώθηκαν—δύο πληροφορίες που θα θέλετε να καταγράφετε μόλις η κωδικοποίηση τρέξει σε παραγωγή και κάποιος χρειαστεί να εξηγήσει τον λογαριασμό. Δώστε ιδιαίτερη προσοχή στο πεδίο index: υποδεικνύει τη θέση του κειμένου στη λίστα που στείλατε, επιτρέποντάς σας να αντιστοιχίσετε κάθε διάνυσμα πίσω στο έγγραφο προέλευσής του.
response = client.embeddings.create(
model="mistral-embed",
inputs=["Example text to encode."],
)
# Response object
print(response.model) # "mistral-embed"
print(response.usage) # tokens consumed
# Embedding data
embedding_data = response.data[0]
print(embedding_data.index) # 0 (position in the inputs list)
print(len(embedding_data.embedding)) # 1024
print(type(embedding_data.embedding)) # list[float]
Πλήρες Παράδειγμα: Κωδικοποίηση και Αποθήκευση
Ακολουθεί μια τυπική διαδικασία για την κωδικοποίηση ενός σώματος εγγράφων και την προετοιμασία διανυσμάτων για μελλοντική αναζήτηση. Η μετάβαση στο NumPy είναι το κρίσιμο βήμα: ενώ τα διανύσματά σας είναι λίστες Python, κάθε υπολογισμός ομοιότητας γίνεται στοιχείο προς στοιχείο· μόλις δημιουργήσετε έναν πίνακα, μια μόνο πράξη συγκρίνει το ερώτημα με ολόκληρο το σώμα κειμένων.
import numpy as np
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
# Document corpus
documents = [
"Mistral AI is a French artificial intelligence company.",
"RAG combines information retrieval and text generation.",
"Embeddings enable semantic search.",
"Python is the most widely used language in data science.",
"FAISS is a vector search library by Meta.",
]
# Encode all documents
response = client.embeddings.create(
model="mistral-embed",
inputs=documents,
)
# Convert to a NumPy matrix for calculations
embeddings_matrix = np.array([d.embedding for d in response.data])
print(f"Embeddings matrix: {embeddings_matrix.shape}")
# Embeddings matrix: (5, 1024)
# Save for later use
np.save("document_embeddings.npy", embeddings_matrix)
Η αποθήκευση ως .npy αποφεύγει την πληρωμή για επανα-κωδικοποίηση κάθε φορά που η εφαρμογή σας επανεκκινείται. Σε ένα σώμα κειμένων αρκετών χιλιάδων εγγράφων, αυτή είναι η διαφορά μεταξύ ακαριαίας εκκίνησης και αρκετών λεπτών χρεώσιμων κλήσεων API.
Όρια και Βέλτιστες Πρακτικές
Τέσσερις παράγοντες καθορίζουν την ποιότητα των αποτελεσμάτων σας. Πρώτον, το μέγιστο μήκος: το μοντέλο περικόπτει τα κείμενα που είναι πολύ μεγάλα και η περικοπή είναι σιωπηρή—μια αναφορά σαράντα σελίδων που κωδικοποιείται σε ένα μπλοκ θα αντιπροσωπεύει ουσιαστικά μόνο την αρχή της. Προτιμήστε τμήματα (chunks) 512 έως 2048 tokens, όπως καλύπτεται στο μάθημα για τον κατακερματισμό (chunking).
Δεύτερον, σε αντίθεση με κάποια άλλα API, το mistral-embed δεν κάνει διάκριση μεταξύ query και document: δεν υπάρχει τύπος εισόδου, απλώς περνάτε το κείμενο. Στην πράξη, οι ερωτήσεις των χρηστών και τα ευρετηριασμένα έγγραφα περνούν από την ίδια κλήση με τις ίδιες παραμέτρους, απλοποιώντας τον κώδικα αναζήτησής σας.
Το τρίτο σημείο είναι το κόστος: οι ενσωματώσεις χρεώνονται ανά token. Η κωδικοποίηση χιλιάδων εγγράφων ένα προς ένα κοστίζει το ίδιο σε tokens με την κωδικοποίησή τους σε παρτίδα, αλλά πολλαπλασιάζει τις διαδρομές δικτύου (round trips) και τον χρόνο επεξεργασίας· βελτιστοποιείτε ομαδοποιώντας τις κλήσεις, θέμα που θα καλυφθεί στο επόμενο μάθημα για τις παρτίδες (batching). Τέλος, ο ντετερμινισμός λειτουργεί υπέρ σας: για το ίδιο κείμενο, το μοντέλο επιστρέφει πάντα το ίδιο διάνυσμα. Επομένως, μπορείτε να αποθηκεύσετε στη μνήμη cache (cache) τις ενσωματώσεις με βάση το hash του κειμένου και να κωδικοποιήσετε εκ νέου μόνο ό,τι έχει πραγματικά αλλάξει μεταξύ δύο εκδόσεων ενός εγγράφου.
Βασικά σημεία
- Το mistral-embed παράγει διανύσματα 1024 διαστάσεων για οποιοδήποτε κείμενο
- Το API δέχεται μια λίστα εισόδων και επιστρέφει τα αντίστοιχα διανύσματα
- Τα διανύσματα είναι λίστες floats, εύκολα μετατρέψιμες σε πίνακες NumPy
- Αποθηκεύστε τις ενσωματώσεις σας ως πίνακα NumPy για υπολογισμούς ομοιότητας
- Θυμηθείτε να διαχωρίζετε τα μεγάλα κείμενα πριν την κωδικοποίηση