Modelul codestral-embed
Pe această pagină
Embedding-uri Specializate pentru Cod
În timp ce mistral-embed este conceput pentru limbaj natural, codestral-embed este un model de embedding optimizat specific pentru limbaje de programare. Acesta înțelege sintaxa, semantica și logica codului, fiind semnificativ superior unui model de text generic pentru orice sarcină care implică cod sursă.
Puteți observa diferența într-un caz simplu. Două funcții care fac același lucru—una scrisă cu o buclă for, iar cealaltă folosind comprehensiunea de liste—nu partajează aproape niciun token. Un model de text le vede ca pe două blocuri distincte de punctuație; un model antrenat pe cod le aduce împreună deoarece a învățat că aceste două forme exprimă aceeași intenție.
Specificații Tehnice
Modelul codestral-embed diferă de mistral-embed în mai multe aspecte cheie:
| Caracteristică | codestral-embed | mistral-embed |
|---|---|---|
| Dimensiuni Implicite | 1536 | 1024 |
| Dimensiuni Maxime | 3072 (dublu față de implicit) | — |
| Tipuri de Ieșire | float, int8, uint8, binary, ubinary | — |
| Optimizare | Antrenat pe cod sursă multi-limbaj | Limbaj natural |
Această flexibilitate în ceea ce privește dimensiunile și tipurile de ieșire este ceea ce diferențiază cu adevărat cele două modele în practică. Un index de cod ajunge rapid la un milion de vectori, iar capacitatea de a le reduce greutatea de patru ori schimbă factura de infrastructură.
Utilizare de Bază
API-ul este identic cu cel al mistral-embed, cu excepția numelui modelului codestral-embed. Nimic altceva nu se schimbă în codul de apelare, ceea ce vă permite să rulați ambele modele în același proiect modificând un singur parametru.
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
# Encodare fragmente de cod
response = client.embeddings.create(
model="codestral-embed",
inputs=[
"def fibonacci(n): return n if n <= 1 else fibonacci(n-1) + fibonacci(n-2)",
"function fibonacci(n) { return n <= 1 ? n : fibonacci(n-1) + fibonacci(n-2); }",
"public int fibonacci(int n) { return n <= 1 ? n : fibonacci(n-1) + fibonacci(n-2); }",
],
)
for i, data in enumerate(response.data):
print(f"Snippet {i+1}: vector of {len(data.embedding)} dimensions")
# Snippet 1: vector of 1536 dimensions
# Snippet 2: vector of 1536 dimensions
# Snippet 3: vector of 1536 dimensions
Observați că toate cele trei fragmente implementează aceeași logică (Fibonacci) în trei limbaje diferite. Embedding-urile lor vor fi foarte apropiate, în ciuda diferențelor sintactice. Această proprietate permite căutarea cross-language: într-o bază de cod poliglotă, un dezvoltator Python poate găsi implementarea Java de care are nevoie fără a cunoaște niciun cuvânt din Java.
Parametrul output_dimension
Puteți reduce dimensiunea vectorului pentru a economisi spațiu de stocare, cu costul unei ușoare pierderi de precizie:
# Dimensiuni reduse (512 în loc de 1536)
response = client.embeddings.create(
model="codestral-embed",
output_dimension=512,
inputs=["def hello(): print('Hello, World!')"],
)
embedding = response.data[0].embedding
print(f"Dimensions: {len(embedding)}") # 512
Primele dimensiuni ale vectorului sunt cele mai informative. Modelul este conceput astfel încât primele n dimensiuni să rețină cantitatea maximă de informații, permițând această reducere fără o pierdere catastrofală. Cu alte cuvinte, trunchierea unui vector nu înseamnă aruncarea aleatorie a unei treimi din semnificație: păstrați semnalul de bază și pierdeți nuanța, ceea ce rămâne perfect viabil pentru o etapă inițială de filtrare.
Alegerea unei Dimensiuni
Folosiți următoarele valori ca linii directoare, în funcție de contextul proiectului dumneavoastră. O căutare de înaltă precizie pe un corpus modest necesită setări diferite față de un index care rulează pe o mașină cu resurse limitate:
# Recomandări pe cazuri de utilizare
DIMENSIONS = {
"high_precision_search": 3072, # Calitate maximă
"general_use": 1536, # Implicit, compromis bun
"large_volume": 768, # Compromis stocare/calitate
"prototype": 512, # Dezvoltare rapidă
"embedded": 256, # Constrângeri stricte de memorie
}
Parametrul output_dtype
Tipul de ieșire controlează precizia și dimensiunea valorilor. În timp ce output_dimension reduce numărul de valori, output_dtype reduce greutatea fiecăreia dintre ele. Aceste două pârghii sunt independente și cumulative.
# Float (implicit) - precizie maximă
response_float = client.embeddings.create(
model="codestral-embed",
output_dtype="float",
inputs=["def add(a, b): return a + b"],
)
# Int8 - de 4 ori mai compact decât float32
response_int8 = client.embeddings.create(
model="codestral-embed",
output_dtype="int8",
inputs=["def add(a, b): return a + b"],
)
# Binary - extrem de compact
response_binary = client.embeddings.create(
model="codestral-embed",
output_dtype="binary",
inputs=["def add(a, b): return a + b"],
)
Combinarea Dimensiunii și a Dtype-ului
Puteți combina ambii parametri pentru un control precis. Cele două apeluri de mai jos encodă aceeași interogare SQL și ilustrează extremele spectrului: primul vizează un index ușor interogat continuu, în timp ce al doilea servește unei căutări de referință unde fiecare punct de precizie contează.
# Compact și rapid: 512 dimensiuni în int8
response = client.embeddings.create(
model="codestral-embed",
output_dimension=512,
output_dtype="int8",
inputs=["SELECT * FROM users WHERE active = true"],
)
# Calitate ridicată: 3072 dimensiuni în float
response = client.embeddings.create(
model="codestral-embed",
output_dimension=3072,
output_dtype="float",
inputs=["SELECT * FROM users WHERE active = true"],
)
Iată o regulă de stabilit chiar acum: vectorii din indexul dumneavoastră și vectorii din interogările dumneavoastră trebuie să partajeze exact aceiași parametri. Encodarea unui corpus în 512 de dimensiuni și apoi interogarea în 1536 nu doar că produce rezultate slabe, ci generează o eroare sau scoruri fără sens.
Limbaje Suportate
codestral-embed funcționează cu toate limbajele de programare comune. Din perspectiva aplicației, acoperă Python, JavaScript și TypeScript, precum și Java, C, C++, C#, Go și Rust. Pentru date și prezentare, modelul gestionează SQL, HTML și CSS. Pentru instrumente și configurare, administrează Shell/Bash, YAML și JSON—și multe altele, efectiv orice limbaj prezent în datele de antrenament. În practică, un repository tipic care amestecă Python, șabloane HTML, migrări SQL și manifeste YAML poate fi indexat complet cu un singur model.
Puncte cheie
codestral-embedeste optimizat pentru cod sursă, nu pentru limbaj natural- 1536 de dimensiuni implicit, scalabil până la 3072
- Parametrul
output_dimensionvă permite să reduceți dimensiunea vectorului - Parametrul
output_dtypecontrolează precizia (float, int8, binary, etc.) - Modelul înțelege semantica codului indiferent de limbaj