Modelis codestral-embed
Šajā lapā
Specializēti embedingi kodam
Kamēr mistral-embed ir paredzēts dabiskajai valodai, codestral-embed ir embedingu modelis, kas optimizēts tieši programmēšanas valodām. Tas saprot koda sintaksi, semantiku un loģiku, padarot to ievērojami pārāku par vispārīgiem teksta modeļiem jebkurā uzdevumā, kas saistīts ar pirmkodu.
Atšķirību vari redzēt vienkāršā piemērā. Divas funkcijas, kas dara to pašu – viena rakstīta ar for ciklu, otra izmantojot saraksta komprehensiju – koplieto gandrīz nekādus tokenus. Teksta modelis tās uztver kā divus atšķirīgus interpunkcijas blokus; modelis, kas apmācīts uz koda, tās apvieno, jo tas ir iemācījies, ka šīs divas formas izsaka vienu un to pašu nodomu.
Tehniskās specifikācijas
Modelis codestral-embed atšķiras no mistral-embed vairākos galvenos aspektos:
| Iezīme | codestral-embed | mistral-embed |
|---|---|---|
| Noklusējuma dimensijas | 1536 | 1024 |
| Maksimālās dimensijas | 3072 (divreiz vairāk par noklusējumu) | — |
| Izvades tipi | float, int8, uint8, binary, ubinary | — |
| Optimizācija | Apmācīts uz daudzvalodu pirmkoda | Dabiskā valoda |
Tieši šī elastība dimensijās un izvades tipos praksē īsti nošķir abus modeļus. Koda indekss ātri sasniedz miljonu vektoru, un iespēja samazināt to svaru četras reizes maina infrastruktūras izmaksas.
Pamatlietojums
API ir identisks mistral-embed, izņemot modeļa nosaukumu codestral-embed. Nekas cits tavā izsaucošajā kodā nemainās, kas ļauj abiem modeļiem darboties vienā projektā, pielāgojot tikai vienu parametru.
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
# Kodē koda fragmentus
response = client.embeddings.create(
model="codestral-embed",
inputs=[
"def fibonacci(n): return n if n <= 1 else fibonacci(n-1) + fibonacci(n-2)",
"function fibonacci(n) { return n <= 1 ? n : fibonacci(n-1) + fibonacci(n-2); }",
"public int fibonacci(int n) { return n <= 1 ? n : fibonacci(n-1) + fibonacci(n-2); }",
],
)
for i, data in enumerate(response.data):
print(f"Snippet {i+1}: vector of {len(data.embedding)} dimensions")
# Snippet 1: vector of 1536 dimensions
# Snippet 2: vector of 1536 dimensions
# Snippet 3: vector of 1536 dimensions
Ievēro, ka visi trīs fragmenti ievieš vienu un to pašu loģiku (Fibonači) trīs dažādās valodās. To embedingi būs ļoti tuvu viens otram, neskatoties uz sintaktiskajām atšķirībām. Šī īpašība ļauj veikt meklēšanu pāri valodām: poliglotu kodu bāzē Python izstrādātājs var atrast nepieciešamo Java implementāciju, nepazīstot ne vārda no Java valodas.
Parametrs output_dimension
Tu vari samazināt vektora izmēru, lai ietaupītu krātuves vietu, upurējot nelielu precizitātes daļu:
# Samazinātas dimensijas (512 instead of 1536)
response = client.embeddings.create(
model="codestral-embed",
output_dimension=512,
inputs=["def hello(): print('Hello, World!')"],
)
embedding = response.data[0].embedding
print(f"Dimensions: {len(embedding)}") # 512
Vektora pirmās dimensijas ir visinformatīvākās. Modelis ir izveidots tā, lai pirmās n dimensijas saglabātu maksimālo informācijas daudzumu, ļaujot šo samazinājumu veikt bez katastrofāliem zaudējumiem. Citiem vārdiem sakot, vektora saīsināšana nav līdzvērtīga nejaušai trešdaļas nozīmes izmešanai: tu saglabā galveno signālu un zaudē nianses, kas joprojām ir pilnīgi piemērots sākotnējai atlases fāzei.
Dimensiju izvēle
Izmanto šīs vērtības kā vadlīnijas, balstoties uz tava projekta kontekstu. Augstas precizitātes meklēšana nelielā korpusā prasa citus iestatījumus nekā indekss, kas darbojas uz ierobežotu resursu mašīnas:
# Ieteikumi pēc lietojuma gadījuma
DIMENSIONS = {
"high_precision_search": 3072, # Maksimāla kvalitāte
"general_use": 1536, # Noklusējums, labs kompromiss
"large_volume": 768, # Krātuves/kvalitātes kompromiss
"prototype": 512, # Ātra izstrāde
"embedded": 256, # Stingri atmiņas ierobežojumi
}
Parametrs output_dtype
Izvades tips kontrolē vērtību precizitāti un izmēru. Tur, kur output_dimension samazina vērtību skaitu, output_dtype samazina katras vērtības svaru. Šie divi sviras ir neatkarīgas un kumulatīvas.
# Float (noklusējums) - maksimāla precizitāte
response_float = client.embeddings.create(
model="codestral-embed",
output_dtype="float",
inputs=["def add(a, b): return a + b"],
)
# Int8 - 4x kompaktāks nekā float32
response_int8 = client.embeddings.create(
model="codestral-embed",
output_dtype="int8",
inputs=["def add(a, b): return a + b"],
)
# Binary - ārkārtīgi kompakts
response_binary = client.embeddings.create(
model="codestral-embed",
output_dtype="binary",
inputs=["def add(a, b): return a + b"],
)
Dimensiju un datu tipa kombinēšana
Tu vari apvienot abus parametrus precīzai kontrolei. Zemāk esošie divi izsaukumi kodē vienu un to pašu SQL vaicājumu un ilustrē spektra galējības: pirmais ir paredzēts vieglam indeksam, ko nepārtraukti vaicā, bet otrais kalpo atsauces meklēšanai, kur katrs precizitātes punkts ir svarīgs.
# Kompakts un ātrs: 512 dimensijas int8 formātā
response = client.embeddings.create(
model="codestral-embed",
output_dimension=512,
output_dtype="int8",
inputs=["SELECT * FROM users WHERE active = true"],
)
# Augsta kvalitāte: 3072 dimensijas float formātā
response = client.embeddings.create(
model="codestral-embed",
output_dimension=3072,
output_dtype="float",
inputs=["SELECT * FROM users WHERE active = true"],
)
Šeit ir likums, kas jāiestata jau tagad: vektoriem tavā indeksā un vektoriem tavos vaicājumos ir jābūt tieši vienādiem parametriem. Korpusa kodēšana 512 dimensijās un pēc tam vaicājumu veikšana 1536 dimensijās ne tikai dos sliktus rezultātus, bet radīs kļūdu vai bezjēdzīgus rezultātus.
Atbalstītās valodas
codestral-embed strādā ar visām izplatītākajām programmēšanas valodām. Lietojumprogrammu līmenī tas aptver Python, JavaScript un TypeScript, kā arī Java, C, C++, C#, Go un Rust. Datu un noformējuma vajadzībām modelis apstrādā SQL, HTML un CSS. Rīku un konfigurācijas vajadzībām tas pārvalda Shell/Bash, YAML un JSON – un daudzas citas, efektīvi jebkuru valodu, kas bija apmācības datos. Praksē tipisku repozitoriju, kas sajauc Python, HTML veidnes, SQL migrācijas un YAML manifestus, var pilnībā indeksēt ar vienu modeli.
Galvenās atziņas
codestral-embedir optimizēts pirmkodam, nevis dabiskajai valodai- Noklusējuma 1536 dimensijas, mērogojamas līdz 3072
- Parametrs
output_dimensionļauj samazināt vektora izmēru - Parametrs
output_dtypekontrolē precizitāti (float, int8, binary u.c.) - Modelis saprot koda semantiku neatkarīgi no valodas