Modelis mistral-embed
Šiame puslapyje
Apžvalga: mistral-embed
mistral-embed yra „Mistral AI“ teksto įterpinių modelis. Jis bet kokį tekstą paverčia 1024 matmenų vektoriumi, nepaisant įvesties ilgio – nesvarbu, ar tai trumpas sakinys, ar visa pastraipa, išvesties vektorius visada bus tokio pat dydžio. Šis fiksuotas matmeniškumas nėra smulkmena: jis leidžia indekstuoti tiek produkto pavadinimą, tiek jo pilną aprašymą toje pačioje vektorių erdvėje ir juos tiesiogiai palyginti be jokio specialaus apdorojimo, reikalingo skirtingiems formatams suderinti.
Šis modelis optimizuotas semantinės paieškos, klasifikavimo ir klasterizavimo užduotims su natūraliosios kalbos tekstu (straipsniai, dokumentai, pokalbiai ir kt.). Naudok jį žinių bazėms, DUK, susitikimų stenogramoms arba dešimties metų klientų aptarnavimo bilietams indekstuoti.
Sąranka ir diegimas
Prieš kviesdamas API, įdiek „Mistral“ Python SDK ir sukonfigūruok savo API raktą:
# Installation
# pip install mistralai
import os
from mistralai.client import Mistral
# Initialize the client
api_key = os.environ.get("MISTRAL_API_KEY")
client = Mistral(api_key=api_key)
API raktą gauk iš „Mistral“ konsolės. Saugok jį aplinkos kintamajame, kad jis nepatektų į tavo kodą. Skaitymas per os.environ.get nėra tik teorinė higiena: tai neleidžia tavo raktui atsidurti „Git“ istorijos kopijoje tą dieną, kai tavo projektas taps viešas.
Įterpinių generavimas
API užklausa yra paprasta: perduok tekstų sąrašą ir gauk atitinkamus vektorius. Atkreipk dėmesį, kad net ir vienam tekstui įvestis turi būti sąrašas – API visada dirba grupėmis (batch), o tai atsipirka vos tik tavo korpusui pradėjus augti.
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
# Generate embeddings for one or more texts
response = client.embeddings.create(
model="mistral-embed",
inputs=[
"Embeddings capture semantic meaning.",
"Mistral AI offers high-performance models.",
"RAG improves response quality."
],
)
# Access the vectors
for i, data in enumerate(response.data):
print(f"Text {i+1}: vector of {len(data.embedding)} dimensions")
print(f" First elements: {data.embedding[:5]}")
Tipiška išvestis:
Text 1: vector of 1024 dimensions
First elements: [0.0234, -0.1567, 0.0891, 0.0123, -0.0456]
Text 2: vector of 1024 dimensions
First elements: [0.0189, -0.1234, 0.0678, 0.0345, -0.0567]
Text 3: vector of 1024 dimensions
First elements: [0.0312, -0.1456, 0.0789, 0.0234, -0.0345]
API atsako struktūra
Atsakyme yra ne tik vektoriai. Jame taip pat nurodoma, kuris modelis buvo faktiškai naudotas ir kiek tokenų buvo sunaudota – tai du duomenys, kuriuos norėsi registruoti, kai kodavimas veiks gamyboje ir kam nors reikės paaiškinti sąskaitą. Ypatingą dėmesį atkreipk į lauką index: jis nurodo teksto poziciją tavo siųstame sąraše, leisdamas kiekvieną vektorių susieti su jo šaltinio dokumentu.
response = client.embeddings.create(
model="mistral-embed",
inputs=["Example text to encode."],
)
# Response object
print(response.model) # "mistral-embed"
print(response.usage) # tokens consumed
# Embedding data
embedding_data = response.data[0]
print(embedding_data.index) # 0 (position in the inputs list)
print(len(embedding_data.embedding)) # 1024
print(type(embedding_data.embedding)) # list[float]
Pilnas pavyzdys: kodavimas ir saugojimas
Štai tipinė dokumentų korpuso kodavimo ir vektorių paruošimo vėlesnei paieškai eigą. Perėjimas prie „NumPy“ yra kritinis žingsnis: kol tavo vektoriai yra Python sąrašai, kiekvienas panašumo skaičiavimas vyksta elementas po elemento; sukūrus matricą, viena operacija palygina užklausą su visu korpusu.
import numpy as np
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
# Document corpus
documents = [
"Mistral AI is a French artificial intelligence company.",
"RAG combines information retrieval and text generation.",
"Embeddings enable semantic search.",
"Python is the most widely used language in data science.",
"FAISS is a vector search library by Meta.",
]
# Encode all documents
response = client.embeddings.create(
model="mistral-embed",
inputs=documents,
)
# Convert to a NumPy matrix for calculations
embeddings_matrix = np.array([d.embedding for d in response.data])
print(f"Embeddings matrix: {embeddings_matrix.shape}")
# Embeddings matrix: (5, 1024)
# Save for later use
np.save("document_embeddings.npy", embeddings_matrix)
Saugojimas kaip .npy leidžia išvengti mokėjimo už pakartotinį kodavimą kiekvieną kartą, kai tavo programa paleidžiama iš naujo. Kelių tūkstančių dokumentų korpusui tai yra skirtumas tarp momentinio paleidimo ir kelių minučių apmokamų API užklausų.
Ribos ir geriausios praktikos
Keturi veiksniai lemia tavo rezultatų kokybę. Pirma, maksimalus ilgis: modelis nutraukia per ilgus tekstus, o šis nutraukimas yra tylus – keturiasdešimties puslapių ataskaita, užkoduota vienu bloku, efektyviai atstovaus tik savo pradžiai. Teik pirmenybę 512–2048 tokenų dydžio dalims, apie kurias kalbama pamokoje apie skaidymą (chunking).
Antra, skirtingai nei kai kurie kiti API, „mistral-embed“ nedaro skirtumo tarp query ir document: čia nėra įvesties tipo, tiesiog perduodi tekstą. Praktiškai naudotojo klausimai ir indekstuojami dokumentai eina per tą patį kvietimą su tais pačiais parametrais, kas supaprastina tavo paieškos kodą.
Trečias punktas yra kaina: už įterpinius mokama už tokenus. Tūkstančio dokumentų kodavimas po vieną kainuoja tiek pat tokenų, kiek ir jų kodavimas grupėje, tačiau tai padaugina tinklo užklausų ratų ir apdorojimo laiką; optimizuoji grupuodamas užklausas, o tai bus aptarta kitoje pamokoje apie grupavimą (batching). Galiausiai, determinizmas veikia tavo naudai: tam pačiam tekstui modelis visada grąžina tą patį vektorių. Todėl gali talpykloje (cache) saugoti įterpinius pagal teksto maišos sumą (hash) ir perkoduoti tik tai, kas iš tikrųjų pasikeitė tarp dviejų dokumento versijų.
Svarbiausi punktai
- „mistral-embed“ sukuria 1024 matmenų vektorius bet kokiam tekstui
- API priima įvesties sąrašą ir grąžina atitinkamus vektorius
- Vektoriai yra slankiojo kablelio skaičių sąrašai, lengvai konvertuojami į „NumPy“ masyvus
- Saugok savo įterpinius kaip „NumPy“ matricą panašumo skaičiavimams
- Nepamiršk suskaidyti ilgų tekstų prieš koduodamas