A codestral-embed modell
Ezen az oldalon
Kódra specializált beágyazások
Míg a mistral-embed a természetes nyelvre lett tervezve, addig a codestral-embed egy kifejezetten programozási nyelvekre optimalizált beágyazási modell. Érti a kód szintaxisát, szemantikáját és logikáját, így bármilyen forráskóddal kapcsolatos feladatban jelentősen felülmúlja az általános szövegmodelleket.
Egy egyszerű példán jól látható a különbség. Két függvény, amely ugyanazt csinálja – az egyiket for ciklussal írták, a másikat listaértelmezéssel (list comprehension) –, szinte semmilyen tokent nem oszt meg egymással. Egy szövegmodell két különálló írásjel-blokként kezeli őket; egy kódon tanított modell viszont összekapcsolja őket, mert megtanulta, hogy ez a két forma ugyanazt a szándékot fejezi ki.
Műszaki specifikációk
A codestral-embed modell több kulcsfontosságú szempontból is eltér a mistral-embed modelltől:
| Jellemző | codestral-embed | mistral-embed |
|---|---|---|
| Alapértelmezett dimenziók | 1536 | 1024 |
| Maximális dimenziók | 3072 (az alapértelmezett kétszerese) | — |
| Kimeneti típusok | float, int8, uint8, binary, ubinary | — |
| Optimalizálás | Többnyelvű forráskódon tanítva | Természetes nyelv |
Ez a rugalmasság a dimenziók és a kimeneti típusok terén az, ami a gyakorlatban igazán megkülönbözteti a két modellt. Egy kódindex gyorsan eléri az egymillió vektort, és ha képes vagy negyedére csökkenteni a súlyukat, az drasztikusan megváltoztatja az infrastruktúra költségeit.
Alapvető használat
Az API megegyezik a mistral-embed API-jával, kivéve a codestral-embed modellnevet. A hívó kódodban semmi más nem változik, ami lehetővé teszi, hogy mindkét modellt ugyanabban a projektben futtasd csupán egyetlen paraméter módosításával.
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
# Kódrészletek kódolása
response = client.embeddings.create(
model="codestral-embed",
inputs=[
"def fibonacci(n): return n if n <= 1 else fibonacci(n-1) + fibonacci(n-2)",
"function fibonacci(n) { return n <= 1 ? n : fibonacci(n-1) + fibonacci(n-2); }",
"public int fibonacci(int n) { return n <= 1 ? n : fibonacci(n-1) + fibonacci(n-2); }",
],
)
for i, data in enumerate(response.data):
print(f"Snippet {i+1}: vector of {len(data.embedding)} dimensions")
# Snippet 1: vector of 1536 dimensions
# Snippet 2: vector of 1536 dimensions
# Snippet 3: vector of 1536 dimensions
Vedd észre, hogy mindhárom részlet ugyanazt a logikát (Fibonacci) valósítja meg három különböző nyelven. A beágyazásaik a szintaktikai különbségek ellenére is nagyon közel lesznek egymáshoz. Ez a tulajdonság teszi lehetővé a nyelveken átívelő keresést: egy poliglót kódbázison egy Python fejlesztő megtalálhatja a szükséges Java implementációt anélkül, hogy egy szót is tudna Javából.
Az output_dimension paraméter
Csökkentheted a vektor méretét a tárhely megtakarítása érdekében, cserébe a pontosság enyhe csökkenéséért:
# Csökkentett dimenziók (512 a 1536 helyett)
response = client.embeddings.create(
model="codestral-embed",
output_dimension=512,
inputs=["def hello(): print('Hello, World!')"],
)
embedding = response.data[0].embedding
print(f"Dimensions: {len(embedding)}") # 512
A vektor első dimenziói a leginformatívabbak. A modell úgy lett kialakítva, hogy az első n dimenzió megtartsa az információ maximális mennyiségét, lehetővé téve ezt a csökkentést katasztrofális veszteség nélkül. Más szóval, egy vektor csonkítása nem olyan, mint a jelentés harmadának véletlenszerű eldobása: megtartod a core jelet, és elveszíted a nüanszokat, ami egy kezdeti szűrési lépéshez tökéletesen megfelel.
Dimenzió választása
Használd az alábbi értékeket irányadóként a projektkörnyezeted alapján. A nagy pontosságú keresés egy szerény méretű korpuszon más beállításokat igényel, mint egy erőforrás-korlátozott gépen futó index:
# Ajánlások használati esetek szerint
DIMENSIONS = {
"high_precision_search": 3072, # Maximális minőség
"general_use": 1536, # Alapértelmezett, jó kompromisszum
"large_volume": 768, # Tárhely/minőség kompromisszum
"prototype": 512, # Gyors fejlesztés
"embedded": 256, # Szigorú memória korlátok
}
Az output_dtype paraméter
A kimeneti típus szabályozza az értékek pontosságát és méretét. Míg az output_dimension az értékek számát csökkenti, addig az output_dtype az egyes értékek súlyát csökkenti. Ez a két szabályozóelem független és kumulatív.
# Float (alapértelmezett) - maximális pontosság
response_float = client.embeddings.create(
model="codestral-embed",
output_dtype="float",
inputs=["def add(a, b): return a + b"],
)
# Int8 - 4x kompaktabb, mint a float32
response_int8 = client.embeddings.create(
model="codestral-embed",
output_dtype="int8",
inputs=["def add(a, b): return a + b"],
)
# Binary - rendkívül kompakt
response_binary = client.embeddings.create(
model="codestral-embed",
output_dtype="binary",
inputs=["def add(a, b): return a + b"],
)
Dimenzió és Dtype kombinálása
Mindkét paramétert kombinálhatod a precíz kontroll érdekében. Az alábbi két hívás ugyanazt az SQL lekérdezést kódolja, és illusztrálja a spektrum szélsőségeit: az első egy könnyűsúlyú, folyamatosan lekérdezett indexet céloz meg, míg a második egy referenciakeresést szolgál, ahol minden egyes pontosság számít.
# Kompakt és gyors: 512 dimenzió int8-ban
response = client.embeddings.create(
model="codestral-embed",
output_dimension=512,
output_dtype="int8",
inputs=["SELECT * FROM users WHERE active = true"],
)
# Magas minőség: 3072 dimenzió float-ban
response = client.embeddings.create(
model="codestral-embed",
output_dimension=3072,
output_dtype="float",
inputs=["SELECT * FROM users WHERE active = true"],
)
Itt van egy szabály, amit most azonnal le kell fektetned: az indexben lévő vektoroknak és a lekérdezésekben lévő vektoroknak pontosan ugyanazokkal a paraméterekkel kell rendelkezniük. Ha egy korpuszt 512 dimenzióban kódolsz, majd 1536-ban kérdezel le, az nemcsak gyenge eredményeket hoz, hanem hibát vagy értelmetlen pontszámokat is produkál.
Támogatott nyelvek
A codestral-embed minden gyakori programozási nyelvvel működik. Alkalmazásoldalon lefedi a Pythont, a JavaScriptet és a TypeScriptet, valamint a Javát, C-t, C++-t, C#-t, Go-t és Rustot. Adatok és megjelenítés terén a modell kezeli az SQL-t, a HTML-t és a CSS-t. Eszközök és konfigurációk terén pedig kezeli a Shell/Bash-t, a YAML-t és a JSON-t – és sok mást is, gyakorlatilag bármilyen nyelvet, amely szerepel a tanító adatokban. A gyakorlatban egy tipikus tároló, amely Python kódot, HTML sablonokat, SQL migrációkat és YAML manifesztumokat kever, teljes mértékben indexelhető egyetlen modellel.
Főbb megállapítások
- A
codestral-embedforráskódra van optimalizálva, nem természetes nyelvre - Alapértelmezetten 1536 dimenzió, skálázható 3072-ig
- Az
output_dimensionparaméter lehetővé teszi a vektor méretének csökkentését - Az
output_dtypeparaméter szabályozza a pontosságot (float, int8, binary stb.) - A modell érti a kód szemantikáját a nyelvtől függetlenül