Моделът mistral-embed
На тази страница
Преглед на mistral-embed
mistral-embed е моделът за текстови вграждания на Mistral AI. Той трансформира всеки текст във вектор с 1024 измерения, независимо от дължината на входа – дали става въпрос за кратко изречение или цял абзац, изходният вектор винаги има един и същи размер. Тази фиксирана размерност не е маловажен детайл: тя Ви позволява да индексирате както заглавието на продукт, така и неговото пълно описание в едно и също векторно пространство, след което да ги сравнявате директно, без нужда от специална обработка за съгласуване на различни формати.
Този модел е оптимизиран за задачи за семантично търсене, класификация и клъстериране на текст на естествен език (статии, документи, разговори и други). Използвайте го за индексиране на база знания, ЧЗВ, стенограми от срещи или десетилетие от билети за поддръжка.
Настройка и инсталиране
Преди да извикате API, инсталирайте Python SDK на Mistral и конфигурирайте Вашия API ключ:
# Installation
# pip install mistralai
import os
from mistralai.client import Mistral
# Initialize the client
api_key = os.environ.get("MISTRAL_API_KEY")
client = Mistral(api_key=api_key)
Вземете Вашия API ключ от конзолата на Mistral. Съхранявайте го в променлива на средата, за да не попада в кода Ви. Четене чрез os.environ.get не е просто теоретична хигиена: това предотвратява ключът Ви да попадне в снимка на Git историята в деня, в който проектът Ви стане публичен.
Генериране на вграждания
Извикването на API е просто: предайте списък с текстове и извлечете съответните вектори. Имайте предвид, че дори за един единствен текст входът трябва да бъде списък – API винаги работи на партиди, което се изплаща веднага щом корпусът Ви нарасне.
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
# Generate embeddings for one or more texts
response = client.embeddings.create(
model="mistral-embed",
inputs=[
"Embeddings capture semantic meaning.",
"Mistral AI offers high-performance models.",
"RAG improves response quality."
],
)
# Access the vectors
for i, data in enumerate(response.data):
print(f"Text {i+1}: vector of {len(data.embedding)} dimensions")
print(f" First elements: {data.embedding[:5]}")
Типичен изход:
Text 1: vector of 1024 dimensions
First elements: [0.0234, -0.1567, 0.0891, 0.0123, -0.0456]
Text 2: vector of 1024 dimensions
First elements: [0.0189, -0.1234, 0.0678, 0.0345, -0.0567]
Text 3: vector of 1024 dimensions
First elements: [0.0312, -0.1456, 0.0789, 0.0234, -0.0345]
Структура на отговора от API
Отговорът съдържа повече от просто вектори. Той също така Ви казва кой модел е използван всъщност и колко токена са консумирани – две части от информация, които ще искате да регистрирате, след като кодирането работи в продукция и някой трябва да обясни сметката. Обърнете специално внимание на полето index: то показва позицията на текста в списъка, който сте изпратили, позволявайки Ви да свържете всеки вектор обратно с неговия изходен документ.
response = client.embeddings.create(
model="mistral-embed",
inputs=["Example text to encode."],
)
# Response object
print(response.model) # "mistral-embed"
print(response.usage) # tokens consumed
# Embedding data
embedding_data = response.data[0]
print(embedding_data.index) # 0 (position in the inputs list)
print(len(embedding_data.embedding)) # 1024
print(type(embedding_data.embedding)) # list[float]
Пълен пример: Кодиране и съхранение
Ето типичен конвейер за кодиране на корпус от документи и подготовка на вектори за последващо търсене. Преминаването към NumPy е критичната стъпка: докато Вашите вектори са списъци на Python, всяко изчисление за сходство се случва елемент по елемент; щом изградите матрица, една единствена операция сравнява заявката с целия корпус.
import numpy as np
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
# Document corpus
documents = [
"Mistral AI is a French artificial intelligence company.",
"RAG combines information retrieval and text generation.",
"Embeddings enable semantic search.",
"Python is the most widely used language in data science.",
"FAISS is a vector search library by Meta.",
]
# Encode all documents
response = client.embeddings.create(
model="mistral-embed",
inputs=documents,
)
# Convert to a NumPy matrix for calculations
embeddings_matrix = np.array([d.embedding for d in response.data])
print(f"Embeddings matrix: {embeddings_matrix.shape}")
# Embeddings matrix: (5, 1024)
# Save for later use
np.save("document_embeddings.npy", embeddings_matrix)
Запазването като .npy избягва плащането за повторно кодиране всеки път, когато приложението Ви се рестартира. При корпус от няколко хиляди документа това е разликата между мигновено стартиране и няколко минути таксувани API извиквания.
Ограничения и най-добри практики
Четири фактора определят качеството на Вашите резултати. Първо, максималната дължина: моделът съкращава текстовете, които са твърде дълги, и съкращаването е тихо – четиридесетстраничен доклад, кодиран в един блок, ще представлява ефективно само началото си. Предпочитайте парчета от 512 до 2048 токена, разгледани в урока за разделяне на части (chunking).
Второ, за разлика от някои други API, mistral-embed не прави разлика между query и document: няма тип на входа, просто предавате текста. На практика потребителските въпроси и индексираните документи преминават през едно и също извикване със същите параметри, опростявайки кода Ви за търсене.
Третата точка е цената: вгражданията се таксуват на токен. Кодирането на хиляда документа един по един струва същото в токени като кодирането им на партида, но умножава мрежовите往返 (round trips) и времето за обработка; оптимизирате, като групирате извикванията, което е темата на следващия урок за групиране (batching). Накрая, детерминизмът работи във Ваша полза: за един и същи текст моделът винаги връща един и същи вектор. Следователно можете да кеширате вгражданията чрез хеш на текста и да прекодирате само онова, което действително се е променило между две версии на даден документ.
Ключови изводи
- mistral-embed произвежда вектори с 1024 измерения за всеки текст
- API приема списък с входове и връща съответните вектори
- Векторите са списъци от числа с плаваща запетая, лесно конвертируеми в масиви на NumPy
- Съхранявайте Вашите вграждания като матрица на NumPy за изчисления на сходство
- Не забравяйте да разделяте дългите текстове преди кодиране