Model mistral-embed
Na tej strani
Pregled modela mistral-embed
mistral-embed je model za vgraditev besedila podjetja Mistral AI. Vsako besedilo pretvori v 1024-dimenzionalni vektor, ne glede na dolžino vhoda – bodisi kratki stavek ali celoten odstavek, izhodni vektor ima vedno enako velikost. Ta fiksna dimenzionalnost ni malenkost: omogoča ti indeksiranje naslova izdelka in njegovega polnega opisa v istem vektorskem prostoru ter njuno neposredno primerjavo brez kakršnega koli posebnega procesiranja za usklajevanje različnih formatov.
Ta model je optimiziran za naloge semantičnega iskanja, klasifikacije in gručenja na besedilih v naravnem jeziku (članki, dokumenti, pogovori in drugo). Uporabi ga za indeksiranje zbirke znanja, pogostih vprašanj (FAQ), zapisnikov sestankov ali desetletja podporne kartoteke.
Namestitev in nastavitev
Pred klicem API-ja namesti Python SDK za Mistral in konfiguriraj svoj API ključ:
# Installation
# pip install mistralai
import os
from mistralai.client import Mistral
# Initialize the client
api_key = os.environ.get("MISTRAL_API_KEY")
client = Mistral(api_key=api_key)
Svoj API ključ pridobi v konzoli Mistral. Shrani ga v okoljsko spremenljivko, da ga obdržiš izven svoje kode. Branje preko os.environ.get ni le teoretična higiena: prepreči, da bi se tvoj ključ znašel v posnetku zgodovine Git, ko tvoj projekt postane javen.
Ustvarjanje vgraditev
Klic API-ja je preprost: posreduj seznam besedil in pridobi ustrezne vektorje. Upoštevaj, da mora biti vhod tudi za eno samo besedilo seznam – API vedno deluje v serijah (batches), kar se izplača takoj, ko tvoja zbirka zraste.
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
# Generate embeddings for one or more texts
response = client.embeddings.create(
model="mistral-embed",
inputs=[
"Embeddings capture semantic meaning.",
"Mistral AI offers high-performance models.",
"RAG improves response quality."
],
)
# Access the vectors
for i, data in enumerate(response.data):
print(f"Text {i+1}: vector of {len(data.embedding)} dimensions")
print(f" First elements: {data.embedding[:5]}")
Tipičen izpis:
Text 1: vector of 1024 dimensions
First elements: [0.0234, -0.1567, 0.0891, 0.0123, -0.0456]
Text 2: vector of 1024 dimensions
First elements: [0.0189, -0.1234, 0.0678, 0.0345, -0.0567]
Text 3: vector of 1024 dimensions
First elements: [0.0312, -0.1456, 0.0789, 0.0234, -0.0345]
Struktura odgovora API-ja
Odgovor vsebuje več kot le vektorje. Pove ti tudi, kateri model je bil dejansko uporabljen in koliko žetonov (tokenov) je bilo porabljenih – dve informaciji, ki ju boš želel beležiti, ko bo kodiranje teklo v proizvodnem okolju in bo nekdo moral pojasniti račun. Posebno pozornost nameni polju index: kaže položaj besedila v seznamu, ki si ga poslal, kar ti omogoča preslikavo vsakega vektorja nazaj na njegov izvorni dokument.
response = client.embeddings.create(
model="mistral-embed",
inputs=["Example text to encode."],
)
# Response object
print(response.model) # "mistral-embed"
print(response.usage) # tokens consumed
# Embedding data
embedding_data = response.data[0]
print(embedding_data.index) # 0 (position in the inputs list)
print(len(embedding_data.embedding)) # 1024
print(type(embedding_data.embedding)) # list[float]
Celoten primer: Kodiranje in shranjevanje
Tukaj je tipičen potek dela za kodiranje zbirke dokumentov in pripravo vektorjev za kasnejše iskanje. Preklop na NumPy je ključni korak: medtem ko so tvoji vektorji Pythonovi seznami, se vsak izračun podobnosti zgodi element za elementom; ko enkrat zgradiš matriko, ena sama operacija primerja poizvedbo s celotno zbirko.
import numpy as np
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
# Document corpus
documents = [
"Mistral AI is a French artificial intelligence company.",
"RAG combines information retrieval and text generation.",
"Embeddings enable semantic search.",
"Python is the most widely used language in data science.",
"FAISS is a vector search library by Meta.",
]
# Encode all documents
response = client.embeddings.create(
model="mistral-embed",
inputs=documents,
)
# Convert to a NumPy matrix for calculations
embeddings_matrix = np.array([d.embedding for d in response.data])
print(f"Embeddings matrix: {embeddings_matrix.shape}")
# Embeddings matrix: (5, 1024)
# Save for later use
np.save("document_embeddings.npy", embeddings_matrix)
Shranjevanje kot .npy prepreči plačevanje ponovnega kodiranja ob vsakem ponovnem zagonu aplikacije. Pri zbirki več tisoč dokumentov je to razlika med takojšnjim zagonom in več minutami zaračunanih klicev API-ja.
Omejitve in najboljše prakse
Štirje dejavniki določajo kakovost tvojih rezultatov. Prvi je največja dolžina: model okrajša predolga besedila, okrajšava pa je tiha – štiridesetstransko poročilo, kodirano v enem bloku, bo učinkovito predstavljalo le svoj začetek. Raje uporabi dele (chunks) od 512 do 2048 žetonov, kar je obravnavano v lekciji o razdeljevanju besedila.
Drugič, za razliko od nekaterih drugih API-jev, mistral-embed ne razlikuje med query (poizvedba) in document (dokument): ni vrste vhoda, preprosto posreduješ besedilo. V praksi uporabniška vprašanja in indeksirani dokumenti gredo skozi isti klic z istimi parametri, kar poenostavi tvojo kodo za iskanje.
Tretja točka so stroški: vgraditve se zaračunavajo na žeton. Kodiranje tisoč dokumentov enega za drugim stane enako žetonov kot kodiranje v seriji, vendar pomnoži omrežne krožne poti in čas obdelave; optimiziraš z združevanjem klicev v serije, kar je tema naslednje lekcije o serijski obdelavi. Nazadnje, determinizem deluje v tvojo korist: za isto besedilo model vedno vrne isti vektor. Zato lahko predpomniš vgraditve s hashem besedila in ponovno kodiraš le tisto, kar se je dejansko spremenilo med dvema različicama dokumenta.
Ključne ugotovitve
- mistral-embed proizvaja 1024-dimenzionalne vektorje za poljubno besedilo
- API sprejme seznam vhodov in vrne ustrezne vektorje
- Vektorji so seznami plavajočih vejic, ki jih je mogoče zlahka pretvoriti v polja NumPy
- Shrani svoje vgraditve kot matriko NumPy za izračune podobnosti
- Ne pozabi razdeliti dolgih besedil pred kodiranjem