Model mistral-embed
Na ovoj stranici
Pregled modela mistral-embed
mistral-embed je Mistral AI-jev model za ugradnju teksta (text embedding). Bilo koji tekst pretvara u vektor od 1024 dimenzije, bez obzira na duljinu ulaza – bilo da se radi o kratkoj rečenici ili cijelom odlomku, izlazni vektor uvijek ima istu veličinu. Ta fiksna dimenzionalnost nije sitnica: omogućuje ti indeksiranje naslova proizvoda i njegovog punog opisa u istom vektorskom prostoru, a zatim njihovo izravno uspoređivanje bez ikakve posebne obrade za usklađivanje različitih formata.
Ovaj model optimiziran je za zadatke semantičkog pretraživanja, klasifikacije i grupiranja na tekstovima prirodnog jezika (članci, dokumenti, razgovori i drugo). Iskoristi ga za indeksiranje baze znanja, često postavljanih pitanja (FAQ), transkripata sastanaka ili desetljeća podrške kroz tikete.
Postavljanje i instalacija
Prije pozivanja API-ja, instaliraj Mistralov Python SDK i konfiguriraj svoj API ključ:
# Installation
# pip install mistralai
import os
from mistralai.client import Mistral
# Initialize the client
api_key = os.environ.get("MISTRAL_API_KEY")
client = Mistral(api_key=api_key)
API ključ preuzmi s Mistralove konzole. Pohrani ga u varijablu okruženja kako bi ga zadržao izvan svog koda. Čitanje putem os.environ.get nije samo teorijska higijena: sprječava da tvoj ključ završi u snapshotu Git povijesti onog dana kada tvoj projekt postane javan.
Generiranje ugradnji (Embeddings)
Poziv API-ju je jednostavan: proslijedi popis tekstova i dobiti odgovarajuće vektore. Imaj na umu da čak i za jedan tekst ulaz mora biti lista – API uvijek radi u serijama (batches), što se isplati čim tvoja zbirka podataka poraste.
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
# Generate embeddings for one or more texts
response = client.embeddings.create(
model="mistral-embed",
inputs=[
"Embeddings capture semantic meaning.",
"Mistral AI offers high-performance models.",
"RAG improves response quality."
],
)
# Access the vectors
for i, data in enumerate(response.data):
print(f"Text {i+1}: vector of {len(data.embedding)} dimensions")
print(f" First elements: {data.embedding[:5]}")
Tipičan izlaz:
Text 1: vector of 1024 dimensions
First elements: [0.0234, -0.1567, 0.0891, 0.0123, -0.0456]
Text 2: vector of 1024 dimensions
First elements: [0.0189, -0.1234, 0.0678, 0.0345, -0.0567]
Text 3: vector of 1024 dimensions
First elements: [0.0312, -0.1456, 0.0789, 0.0234, -0.0345]
Struktura odgovora API-ja
Odgovor sadrži više od samih vektora. Također ti govori koji je model zapravo korišten i koliko je tokena potrošeno – dvije informacije koje ćeš htjeti bilježiti jednom kada kodiranje radi u produkciji i netko mora objasniti račun. Obrati posebnu pozornost na polje index: ono označava poziciju teksta u listi koju si poslao, omogućujući ti mapiranje svakog vektora natrag na njegov izvorni dokument.
response = client.embeddings.create(
model="mistral-embed",
inputs=["Example text to encode."],
)
# Response object
print(response.model) # "mistral-embed"
print(response.usage) # tokens consumed
# Embedding data
embedding_data = response.data[0]
print(embedding_data.index) # 0 (position in the inputs list)
print(len(embedding_data.embedding)) # 1024
print(type(embedding_data.embedding)) # list[float]
Cjeloviti primjer: Kodiranje i pohrana
Evo tipičnog pipelinea za kodiranje zbirke dokumenata i pripremu vektora za kasnije pretraživanje. Prelazak na NumPy ključni je korak: dok su tvoji vektori Python liste, svaki izračun sličnosti događa se element po element; jednom kada izgradiš matricu, jedna operacija uspoređuje upit s cijelom zbirkom.
import numpy as np
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
# Document corpus
documents = [
"Mistral AI is a French artificial intelligence company.",
"RAG combines information retrieval and text generation.",
"Embeddings enable semantic search.",
"Python is the most widely used language in data science.",
"FAISS is a vector search library by Meta.",
]
# Encode all documents
response = client.embeddings.create(
model="mistral-embed",
inputs=documents,
)
# Convert to a NumPy matrix for calculations
embeddings_matrix = np.array([d.embedding for d in response.data])
print(f"Embeddings matrix: {embeddings_matrix.shape}")
# Embeddings matrix: (5, 1024)
# Save for later use
np.save("document_embeddings.npy", embeddings_matrix)
Spremanje kao .npy izbjegava plaćanje ponovnog kodiranja svaki put kada se tvoja aplikacija ponovno pokrene. Na zbirci od nekoliko tisuća dokumenata, to je razlika između trenutnog pokretanja i nekoliko minuta naplaćenih API poziva.
Ograničenja i najbolje prakse
Četiri faktora određuju kvalitetu tvojih rezultata. Prvo, maksimalna duljina: model skraćuje tekstove koji su predugi, a skraćivanje je tiho – četrdeset stranica izvještaja kodiranih u jednom bloku učinkovito će predstavljati samo njegov početak. Daj prednost komadima (chunks) od 512 do 2048 tokena, što je obrađeno u lekciji o dijeljenju teksta.
Drugo, za razliku od nekih drugih API-ja, mistral-embed ne razlikuje između query i document: ne postoji vrsta ulaza, jednostavno proslijediš tekst. U praksi, korisnička pitanja i indeksirani dokumenti prolaze kroz isti poziv s istim parametrima, što pojednostavljuje tvoj kod za pretraživanje.
Treća točka je cijena: ugradnje se naplaćuju po tokenima. Kodiranje tisuću dokumenata jedan po jedan košta isto u tokenima kao i kodiranje u seriji, ali množi mrežne povratne putove i vrijeme obrade; optimiziraš grupiranjem poziva, što je tema sljedeće lekcije o batch obradi. Konačno, determinizam radi u tvoju korist: za isti tekst, model uvijek vraća isti vektor. Stoga možeš keširati ugradnje prema hashu teksta i ponovno kodirati samo ono što se zapravo promijenilo između dviju verzija dokumenta.
Ključne točke
- mistral-embed proizvodi vektore od 1024 dimenzije za bilo koji tekst
- API prihvaća listu ulaza i vraća odgovarajuće vektore
- Vektori su liste float vrijednosti, lako pretvorive u NumPy polja
- Pohrani svoje ugradnje kao NumPy matricu za izračune sličnosti
- Zapamti podijeliti duge tekstove prije kodiranja