Mudel mistral-embed
Sellel lehel
Ülevaade mudelist mistral-embed
mistral-embed on Mistral AI tekstimanuste mudel. See teisendab ükskõik millise teksti 1024-mõõtmeliseks vektoriks, sõltumata sisendi pikkusest – olgu selleks lühike lause või terve lõik, on väljundvektor alati sama suuruga. See fikseeritud mõõtmelisus pole väike detail: see võimaldab sul indekseerida nii toote pealkirja kui ka selle täieliku kirjelduse samas vektorruumis ja seejärel võrrelda neid otse, ilma et oleks vaja erilist töötlemist erinevate vormingute ühtlustamiseks.
See mudel on optimeeritud loomuliku keele tekstide (artiklid, dokumendid, vestlused ja muu) semantiliseks otsinguks, klassifitseerimiseks ja klastrite moodustamiseks. Kasuta seda teadmistebaasi, KKK-de, koosolekute ärakirjade või kümne aasta pikkuse tugipiletite arhiivi indekseerimiseks.
Seadistamine ja paigaldamine
Enne API kutsumist paigalda Mistrali Pythoni SDK ja seadista oma API võti:
# Installation
# pip install mistralai
import os
from mistralai.client import Mistral
# Initialize the client
api_key = os.environ.get("MISTRAL_API_KEY")
client = Mistral(api_key=api_key)
Hangi oma API võti Mistrali konsoolist. Salvesta see keskkonnamuutujasse, et hoida seda koodist eemal. Lugemine os.environ.get kaudu ei ole pelgalt teoreetiline hügieen: see takistab su võtme sattumist Git’i ajaloo hetktõmmisesse päeval, mil su projekt avalikuks muutub.
Manuste genereerimine
API väljakutse on lihtne: edasta tekstide loend ja saada vastavad vektorid. Pane tähele, et isegi ühe teksti puhul peab sisend olema loend – API töötab alati partiidena, mis tasub end ära niipea, kui su korpuse maht kasvab.
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
# Generate embeddings for one or more texts
response = client.embeddings.create(
model="mistral-embed",
inputs=[
"Embeddings capture semantic meaning.",
"Mistral AI offers high-performance models.",
"RAG improves response quality."
],
)
# Access the vectors
for i, data in enumerate(response.data):
print(f"Text {i+1}: vector of {len(data.embedding)} dimensions")
print(f" First elements: {data.embedding[:5]}")
Tüüpiline väljund:
Text 1: vector of 1024 dimensions
First elements: [0.0234, -0.1567, 0.0891, 0.0123, -0.0456]
Text 2: vector of 1024 dimensions
First elements: [0.0189, -0.1234, 0.0678, 0.0345, -0.0567]
Text 3: vector of 1024 dimensions
First elements: [0.0312, -0.1456, 0.0789, 0.0234, -0.0345]
API vastuse struktuur
Vastus sisaldab rohkemat kui ainult vektoreid. See ütleb ka, millist mudelit tegelikult kasutati ja mitu tokenit tarbiti – kaks teavet, mida soovid logida, kui kodeerimine töötab tootmises ja keegi peab arvet selgitama. Pööra erilist tähelepanu väljale index: see näitab teksti positsiooni sinu saadetud loendis, võimaldades sul iga vektori tagasi viia selle algdokumendini.
response = client.embeddings.create(
model="mistral-embed",
inputs=["Example text to encode."],
)
# Response object
print(response.model) # "mistral-embed"
print(response.usage) # tokens consumed
# Embedding data
embedding_data = response.data[0]
print(embedding_data.index) # 0 (position in the inputs list)
print(len(embedding_data.embedding)) # 1024
print(type(embedding_data.embedding)) # list[float]
Täielik näide: kodeeri ja salvesta
Siin on tüüpiline torustik dokumendikorpuse kodeerimiseks ja vektorite ettevalmistamiseks hilisemaks otsinguks. Üleminek NumPyle on kriitiline samm: kuigi su vektorid on Pythoni loendid, toimub iga sarnasuse arvutus element haaval; kui aga ehidad maatriksi, võrdleb üksainus operatsioon päringut kogu korpusega.
import numpy as np
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
# Document corpus
documents = [
"Mistral AI is a French artificial intelligence company.",
"RAG combines information retrieval and text generation.",
"Embeddings enable semantic search.",
"Python is the most widely used language in data science.",
"FAISS is a vector search library by Meta.",
]
# Encode all documents
response = client.embeddings.create(
model="mistral-embed",
inputs=documents,
)
# Convert to a NumPy matrix for calculations
embeddings_matrix = np.array([d.embedding for d in response.data])
print(f"Embeddings matrix: {embeddings_matrix.shape}")
# Embeddings matrix: (5, 1024)
# Save for later use
np.save("document_embeddings.npy", embeddings_matrix)
Salvestamine formaadis .npy hoiab ära uuesti kodeerimise eest maksmise iga kord, kui su rakendus taaskäivitub. Mõne tuhande dokumendi suuruse korpuse puhul on see erinevus kohese käivitumise ja mitme minuti pikkuste arveldatavate API väljakutsete vahel.
Piirangud ja parimad tavad
Sinu tulemuste kvaliteeti määravad neli tegurit. Esiteks maksimaalne pikkus: mudel lühendab liiga pikki tekste ja lühendamine on vaikne – neljakümneleheküljeline raport, mis kodeeritakse ühe plokina, esindab tegelikult vaid selle algust. Eelista tükke suurusega 512 kuni 2048 tokenit, mida käsitletakse tükeldamise tunnis.
Teiseks, erinevalt mõnest muust API-st, ei tee mistral-embed vahet query ja document vahel: sisendi tüüpi pole, sa edastad lihtsalt teksti. Praktikas läbivad kasutaja küsimused ja indekseeritud dokumendid sama väljakutse samade parameetritega, mis lihtsustab su otsingukoodi.
Kolmas punkt on kulu: manuste eest arveldatakse tokenite kaupa. Tuhande dokumendi ükshaaval kodeerimine maksab tokenite osas sama palju kui nende kodeerimine partiidena, kuid see korrutab võrgu päringuid ja töötlemisaega; optimeerid seda väljakutsete partiidesse koondamisega, mis on järgmise tunni teemaks. Lõpuks töötab determinism sinu kasuks: sama teksti puhul tagastab mudel alati sama vektori. Seetõttu saad manuseid vahemällu salvestada teksti räsi põhjal ja uuesti kodeerida ainult seda, mis on kahe dokumendi versiooni vahel tegelikult muutunud.
Peamised punktid
- mistral-embed toodab 1024-mõõtmelisi vektoreid ükskõik millise teksti jaoks
- API aktsepteerib sisendite loendit ja tagastab vastavad vektorid
- Vektorid on ujukomaarvude loendid, mida on lihtne teisendada NumPy massiivideks
- Salvesta oma manused NumPy maatriksina sarnasuse arvutusteks
- Pea meeles, et pikad tekstid tuleb enne kodeerimist tükeldada