Model codestral-embed
Na ovoj stranici
Embeddingi specijalizirani za kod
Dok je mistral-embed dizajniran za prirodni jezik, codestral-embed je model za embeddinge optimiziran specifično za programske jezike. Razumije sintaksu, semantiku i logiku koda, što ga čini znatno superiornijim od generičkog tekstualnog modela za bilo koji zadatak koji uključuje izvorni kod.
Razliku možeš vidjeti na jednostavnom primjeru. Dvije funkcije koje rade istu stvar – jedna napisana s for petljom, a druga koristeći list comprehension – dijele gotovo nula zajedničkih tokena. Tekstualni model ih vidi kao dva različita bloka interpunkcijskih znakova; model treniran na kodu spaja ih jer je naučio da ova dva oblika izražavaju istu namjeru.
Tehničke specifikacije
Model codestral-embed razlikuje se od mistral-embed u nekoliko ključnih aspekata:
| Značajka | codestral-embed | mistral-embed |
|---|---|---|
| Zadane dimenzije | 1536 | 1024 |
| Maksimalne dimenzije | 3072 (dvostruko više od zadanih) | — |
| Vrste izlaza | float, int8, uint8, binary, ubinary | — |
| Optimizacija | Treniran na izvornom kodu više jezika | Prirodni jezik |
Upravo ta fleksibilnost u dimenzijama i vrstama izlaza u praksi najviše razdvaja ova dva modela. Indeks koda brzo doseže milijun vektora, a mogućnost smanjenja njihove težine četiri puta drastično mijenja troškove infrastrukture.
Osnovna upotreba
API je identičan onome za mistral-embed, osim naziva modela codestral-embed. Ništa se drugo ne mijenja u tvom pozivnom kodu, što ti omogućuje pokretanje oba modela u istom projektu prilagodbom samo jednog parametra.
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
# Encode code snippets
response = client.embeddings.create(
model="codestral-embed",
inputs=[
"def fibonacci(n): return n if n <= 1 else fibonacci(n-1) + fibonacci(n-2)",
"function fibonacci(n) { return n <= 1 ? n : fibonacci(n-1) + fibonacci(n-2); }",
"public int fibonacci(int n) { return n <= 1 ? n : fibonacci(n-1) + fibonacci(n-2); }",
],
)
for i, data in enumerate(response.data):
print(f"Snippet {i+1}: vector of {len(data.embedding)} dimensions")
# Snippet 1: vector of 1536 dimensions
# Snippet 2: vector of 1536 dimensions
# Snippet 3: vector of 1536 dimensions
Primijeti da sva tri isječka implementiraju istu logiku (Fibonacci) u tri različita jezika. Njihovi će embeddingi biti vrlo bliski unatoč sintaktičkim razlikama. Ovo svojstvo omogućuje pretraživanje između jezika: na poliglotskoj codebase, Python programer može pronaći potrebnu Java implementaciju ne znajući ni riječi Java jezika.
Parametar output_dimension
Možeš smanjiti veličinu vektora kako bi uštedio prostor za pohranu, uz cijenu blagog gubitka preciznosti:
# Reduced dimensions (512 instead of 1536)
response = client.embeddings.create(
model="codestral-embed",
output_dimension=512,
inputs=["def hello(): print('Hello, World!')"],
)
embedding = response.data[0].embedding
print(f"Dimensions: {len(embedding)}") # 512
Prve dimenzije vektora su najinformativnije. Model je dizajniran tako da prvih n dimenzija zadrži maksimalnu količinu informacija, omogućujući ovo smanjenje bez katastrofalnog gubitka. Drugim riječima, skraćivanje vektora nije poput nasumičnog bacanja trećine značenja: zadržavaš core signal, a gubiš nijanse, što ostaje savršeno prihvatljivo za početnu fazu filtriranja.
Odabir dimenzija
Koristi sljedeće vrijednosti kao smjernice temeljene na kontekstu tvog projekta. Pretraživanje visoke preciznosti na skromnom korpusu zahtijeva drugačije postavke od indeksa koji radi na stroju s ograničenim resursima:
# Recommendations by use case
DIMENSIONS = {
"high_precision_search": 3072, # Maximum quality
"general_use": 1536, # Default, good compromise
"large_volume": 768, # Storage/quality trade-off
"prototype": 512, # Rapid development
"embedded": 256, # Strict memory constraints
}
Parametar output_dtype
Vrsta izlaza kontrolira preciznost i veličinu vrijednosti. Dok output_dimension smanjuje broj vrijednosti, output_dtype smanjuje težinu svake od njih. Ove dvije poluge su neovisne i kumulativne.
# Float (default) - maximum precision
response_float = client.embeddings.create(
model="codestral-embed",
output_dtype="float",
inputs=["def add(a, b): return a + b"],
)
# Int8 - 4x more compact than float32
response_int8 = client.embeddings.create(
model="codestral-embed",
output_dtype="int8",
inputs=["def add(a, b): return a + b"],
)
# Binary - extremely compact
response_binary = client.embeddings.create(
model="codestral-embed",
output_dtype="binary",
inputs=["def add(a, b): return a + b"],
)
Kombiniranje dimenzije i vrste podataka (Dtype)
Možeš kombinirati oba parametra za preciznu kontrolu. Dva poziva u nastavku kodiraju isti SQL upit i ilustriraju ekstreme spektra: prvi cilja na lagani indeks koji se neprestano ispituje, dok drugi služi referentnom pretraživanju gdje svaka točka preciznosti ima važnost.
# Compact and fast: 512 dimensions in int8
response = client.embeddings.create(
model="codestral-embed",
output_dimension=512,
output_dtype="int8",
inputs=["SELECT * FROM users WHERE active = true"],
)
# High quality: 3072 dimensions in float
response = client.embeddings.create(
model="codestral-embed",
output_dimension=3072,
output_dtype="float",
inputs=["SELECT * FROM users WHERE active = true"],
)
Evo pravila koje trebaš usvojiti odmah: vektori u tvom indeksu i vektori u tvojim upitima moraju imati potpuno iste parametre. Kodiranje korpusa u 512 dimenzija, a zatim upitivanje u 1536, ne daje samo loše rezultate; to proizvodi grešku ili besmislene rezultate.
Podržani jezici
codestral-embed radi sa svim uobičajenim programskim jezicima. S aplikacijske strane, pokriva Python, JavaScript i TypeScript, kao i Java, C, C++, C#, Go i Rust. Za podatke i prezentaciju, model obrađuje SQL, HTML i CSS. Za alate i konfiguraciju, upravlja Shell/Bash, YAML i JSON – te mnogim drugima, efektivno bilo kojim jezikom prisutnim u podacima za obuku. U praksi, tipičan repozitorij koji miješa Python, HTML predloške, SQL migracije i YAML manifeste može se u potpunosti indeksirati jednim modelom.
Ključne točke
codestral-embedje optimiziran za izvorni kod, a ne za prirodni jezik- Zadano ima 1536 dimenzija, skalabilno do 3072
- Parametar
output_dimensionomogućuje smanjenje veličine vektora - Parametar
output_dtypekontrolira preciznost (float, int8, binary, itd.) - Model razumije semantiku koda bez obzira na jezik