Моделът codestral-embed
На тази страница
Специализирани вграждания за код
Докато mistral-embed е проектиран за естествен език, codestral-embed е модел за вграждания, оптимизиран специално за езици за програмиране. Той разбира синтаксиса, семантиката и логиката на кода, което го прави значително по-ефективен от универсален текстов модел за всяка задача, свързана със сорс код.
Можете да видите разликата в един прост случай. Две функции, които правят едно и също нещо – едната написана с цикъл for, а другата използваща списъчно разбиране (list comprehension) – споделят почти никакви токени. Текстовият модел ги вижда като два отделни блока от пунктуация; моделът, обучен върху код, ги обединява, защото е научил, че тези две форми изразяват едно и също намерение.
Технически спецификации
Моделът codestral-embed се различава от mistral-embed по няколко ключови начина:
| Характеристика | codestral-embed | mistral-embed |
|---|---|---|
| Размери по подразбиране | 1536 | 1024 |
| Максимални размери | 3072 (двойно повече от стандартните) | — |
| Типове изходни данни | float, int8, uint8, binary, ubinary | — |
| Оптимизация | Обучен върху сорс код на множество езици | Естествен език |
Тази гъвкавост по отношение на размерите и типовете изходни данни е това, което наистина отличава двата модела на практика. Един индекс за код бързо достига милион вектора и възможността да намалите теглото им четири пъти променя сметката за инфраструктурата.
Основна употреба
API е идентичен с този на mistral-embed, с изключение на името на модела codestral-embed. Нищо друго не се променя във вашия извикващ код, което Ви позволява да стартирате и двата модела в един и същи проект, като коригирате само един параметър.
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
# Encode code snippets
response = client.embeddings.create(
model="codestral-embed",
inputs=[
"def fibonacci(n): return n if n <= 1 else fibonacci(n-1) + fibonacci(n-2)",
"function fibonacci(n) { return n <= 1 ? n : fibonacci(n-1) + fibonacci(n-2); }",
"public int fibonacci(int n) { return n <= 1 ? n : fibonacci(n-1) + fibonacci(n-2); }",
],
)
for i, data in enumerate(response.data):
print(f"Snippet {i+1}: vector of {len(data.embedding)} dimensions")
# Snippet 1: vector of 1536 dimensions
# Snippet 2: vector of 1536 dimensions
# Snippet 3: vector of 1536 dimensions
Забележете, че и трите фрагмента реализират една и съща логика (Фибоначи) на три различни езика. Техните вграждания ще бъдат много близки, въпреки синтактичните разлики. Това свойство позволява търсене между езиците: в полиглотна кодова база, Python разработчик може да намери необходимата Java имплементация, без да знае нито дума Java.
Параметърът output_dimension
Можете да намалите размера на вектора, за да спестите място за съхранение, за сметка на лека загуба на прецизност:
# Reduced dimensions (512 instead of 1536)
response = client.embeddings.create(
model="codestral-embed",
output_dimension=512,
inputs=["def hello(): print('Hello, World!')"],
)
embedding = response.data[0].embedding
print(f"Dimensions: {len(embedding)}") # 512
Първите измерения на вектора са най-информативни. Моделът е проектиран така, че първите n измерения да запазват максималното количество информация, позволявайки това намаляване без катастрофална загуба. С други думи, съкращаването на вектор не е като случайно изхвърляне на една трета от смисъла: запазвате основния сигнал и губите нюансите, което остава напълно жизнеспособно за начален етап на филтриране.
Избор на размери
Използвайте следните стойности като насоки въз основа на контекста на Вашия проект. Търсенето с висока прецизност върху скромен корпус изисква различни настройки от индекс, работещ на машина с ограничени ресурси:
# Recommendations by use case
DIMENSIONS = {
"high_precision_search": 3072, # Maximum quality
"general_use": 1536, # Default, good compromise
"large_volume": 768, # Storage/quality trade-off
"prototype": 512, # Rapid development
"embedded": 256, # Strict memory constraints
}
Параметърът output_dtype
Типът на изходните данни контролира прецизността и размера на стойностите. Докато output_dimension намалява броя на стойностите, output_dtype намалява теглото на всяка една от тях. Тези два лоста са независими и кумулативни.
# Float (default) - maximum precision
response_float = client.embeddings.create(
model="codestral-embed",
output_dtype="float",
inputs=["def add(a, b): return a + b"],
)
# Int8 - 4x more compact than float32
response_int8 = client.embeddings.create(
model="codestral-embed",
output_dtype="int8",
inputs=["def add(a, b): return a + b"],
)
# Binary - extremely compact
response_binary = client.embeddings.create(
model="codestral-embed",
output_dtype="binary",
inputs=["def add(a, b): return a + b"],
)
Комбиниране на Dimension и Dtype
Можете да комбинирате и двата параметъра за прецизен контрол. Двете извиквания по-долу кодират една и съща SQL заявка и илюстрират крайностите на спектъра: първото цели лек индекс, заявяван непрекъснато, докато второто обслужва референтно търсене, където всяка точка на прецизност има значение.
# Compact and fast: 512 dimensions in int8
response = client.embeddings.create(
model="codestral-embed",
output_dimension=512,
output_dtype="int8",
inputs=["SELECT * FROM users WHERE active = true"],
)
# High quality: 3072 dimensions in float
response = client.embeddings.create(
model="codestral-embed",
output_dimension=3072,
output_dtype="float",
inputs=["SELECT * FROM users WHERE active = true"],
)
Ето правило, което трябва да установите веднага: векторите във Вашия индекс и векторите във Вашите заявки трябва да споделят точно едни и същи параметри. Кодирането на корпус в 512 измерения и последващо заявяване в 1536 не просто води до лоши резултати; то поражда грешка или безсмислени оценки.
Поддържани езици
codestral-embed работи с всички общи езици за програмиране. От страна на приложението, той покрива Python, JavaScript и TypeScript, както и Java, C, C++, C#, Go и Rust. За данни и представяне, моделът обработва SQL, HTML и CSS. За инструменти и конфигурация, той управлява Shell/Bash, YAML и JSON – и много други, ефективно всеки език, присъстващ в обучаващите данни. На практика типично хранилище, смесващо Python, HTML шаблони, SQL миграции и YAML манифести, може да бъде напълно индексирано с един единствен модел.
Ключови изводи
codestral-embedе оптимизиран за сорс код, а не за естествен език- 1536 измерения по подразбиране, мащабируеми до 3072
- Параметърът
output_dimensionВи позволява да намалите размера на вектора - Параметърът
output_dtypeконтролира прецизността (float, int8, binary и др.) - Моделът разбира семантиката на кода независимо от езика