Modelis codestral-embed
Šiame puslapyje
Specializuoti kodo įterpiniai
Nors mistral-embed sukurtas natūraliajai kalbai, codestral-embed yra įterpinių modelis, specialiai optimizuotas programavimo kalboms. Jis supranta kodo sintaksę, semantiką ir logiką, todėl bet kuriai užduočiai, susijusiai su源代码, jis yra gerokai pranašesnis už bendrosios paskirties teksto modelį.
Skirtumą lengva pastebėti paprastu atveju. Dvi funkcijos, darančios tą patį – viena parašyta naudojant for ciklą, kita – sąrašo supratimą (list comprehension) – beveik neturi bendrų tokenų. Teksto modelis jas mato kaip du skirtingus skyrybos ženklų blokus; kodui treniruotas modelis jas suartina, nes išmoko, kad šios dvi formos išreiškia tą patį ketinimą.
Techninės specifikacijos
Modelis codestral-embed nuo mistral-embed skiriasi keliais esminiais aspektais:
| Savybė | codestral-embed | mistral-embed |
|---|---|---|
| Numatytieji matmenys | 1536 | 1024 |
| Maksimalūs matmenys | 3072 (dvigubai daugiau nei numatyta) | — |
| Išvesties tipai | float, int8, uint8, binary, ubinary | — |
| Optimizacija | Treniruotas daugiakalbiu源代码 | Natūralioji kalba |
Būtent šis lankstumas keičiant matmenis ir išvesties tipus praktiškai išskiria šiuos du modelius. Kodo indeksas greitai pasiekia milijoną vektorių, o galimybė sumažinti jų svorį keturis kartus tiesiogiai paveikia infrastruktūros išlaidas.
Pagrindinis naudojimas
API yra identiškas mistral-embed, išskyrus modelio pavadinimą codestral-embed. Tavo kvietimo kode niekas daugiau nekeičia, todėl tame pačiame projekte gali naudoti abu modelius, pakeitęs tik vieną parametrą.
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
# Koduokite kodo fragmentus
response = client.embeddings.create(
model="codestral-embed",
inputs=[
"def fibonacci(n): return n if n <= 1 else fibonacci(n-1) + fibonacci(n-2)",
"function fibonacci(n) { return n <= 1 ? n : fibonacci(n-1) + fibonacci(n-2); }",
"public int fibonacci(int n) { return n <= 1 ? n : fibonacci(n-1) + fibonacci(n-2); }",
],
)
for i, data in enumerate(response.data):
print(f"Snippet {i+1}: vector of {len(data.embedding)} dimensions")
# Snippet 1: vector of 1536 dimensions
# Snippet 2: vector of 1536 dimensions
# Snippet 3: vector of 1536 dimensions
Atkreipk dėmesį, kad visi trys fragmentai įgyvendina tą pačią logiką (Fibonači) trimis skirtingomis kalbomis. Jų įterpiniai bus labai artimi, nepaisant sintaksinių skirtumų. Ši savybė leidžia vykdyti paiešką tarp skirtingų kalbų: daugiakalbėje kodų bazėje Python kūrėjas gali rasti jam reikalingą Java implementaciją nemokėdamas nė žodžio Java kalba.
Parametras output_dimension
Vektoriaus dydį gali sumažinti norėdamas sutaupyti saugojimo vietos, tačiau tai šiek tiek sumažins tikslumą:
# Sumažinti matmenys (512 vietoj 1536)
response = client.embeddings.create(
model="codestral-embed",
output_dimension=512,
inputs=["def hello(): print('Hello, World!')"],
)
embedding = response.data[0].embedding
print(f"Dimensions: {len(embedding)}") # 512
Pirmieji vektoriaus matmenys yra informatyviausi. Modelis sukurtas taip, kad pirmieji n matmenų išlaikytų maksimalų informacijos kiekį, todėl šį sumažinimą galima atlikti be katastrofiškų nuostolių. Kitaip tariant, vektoriaus sutrumpinimas nėra tas pats, kas atsitiktinai išmesti trečdalį prasmės: išlaikai pagrindinį signalą ir prarandi niuansus, kas visiškai tinka pradiniam filtravimo etapui.
Matmens pasirinkimas
Naudok šias reikšmes kaip gaires, priklausomai nuo tavo projekto konteksto. Didelio tikslumo paieška nedidelėje duomenų aibėje reikalauja kitokių nustatymų nei indeksas, veikiantis ribotų išteklių mašinoje:
# Rekomendacijos pagal naudojimo atvejį
DIMENSIONS = {
"high_precision_search": 3072, # Maksimali kokybė
"general_use": 1536, # Numatyta, geras kompromisas
"large_volume": 768, # Saugojimo ir kokybės balansas
"prototype": 512, # Greita plėtra
"embedded": 256, # Griežti atminties apribojimai
}
Parametras output_dtype
Išvesties tipas valdo reikšmių tikslumą ir dydį. Jei output_dimension sumažina reikšmių skaičių, tai output_dtype sumažina kiekvienos iš jų svorį. Šie du svertai yra nepriklausomi ir kaupiami.
# Float (numatyta) - maksimalus tikslumas
response_float = client.embeddings.create(
model="codestral-embed",
output_dtype="float",
inputs=["def add(a, b): return a + b"],
)
# Int8 - 4 kartus kompaktiškesnis nei float32
response_int8 = client.embeddings.create(
model="codestral-embed",
output_dtype="int8",
inputs=["def add(a, b): return a + b"],
)
# Binary - itin kompaktiškas
response_binary = client.embeddings.create(
model="codestral-embed",
output_dtype="binary",
inputs=["def add(a, b): return a + b"],
)
Matmens ir duomenų tipo derinimas
Abu parametrus gali derinti norėdamas tiksliai kontroliuoti rezultatą. Šie du kvietimai koduoja tą pačią SQL užklausą ir iliustruoja spektro kraštutinumus: pirmasis skirtas lengvam indeksui, kuris nuolat užklausiamas, o antrasis – etaloninei paieškai, kur svarbus kiekvienas tikslumo taškas.
# Kompaktiškas ir greitas: 512 matmenų int8 formatu
response = client.embeddings.create(
model="codestral-embed",
output_dimension=512,
output_dtype="int8",
inputs=["SELECT * FROM users WHERE active = true"],
)
# Aukšta kokybė: 3072 matmenų float formatu
response = client.embeddings.create(
model="codestral-embed",
output_dimension=3072,
output_dtype="float",
inputs=["SELECT * FROM users WHERE active = true"],
)
Įsidėmėk taisyklę, kurią privalai taikyti iškart: tavo indekse esantys vektoriai ir užklausose naudojami vektoriai privalo turėti identiškus parametrus. Jei koduosi duomenų bazę naudodamas 512 matmenų, o užklausas siųsi su 1536 matmenų, gausi ne tik prastus rezultatus, bet ir klaidas arba beprasmes reikšmes.
Palaikomos kalbos
codestral-embed veikia su visomis populiariomis programavimo kalbomis. Programinės įrangos kūrimo srityje jis apima Python, JavaScript ir TypeScript, taip pat Java, C, C++, C#, Go ir Rust. Duomenims ir pateikimui modelis tvarko SQL, HTML ir CSS. Įrankiams ir konfigūracijai jis valdo Shell/Bash, YAML ir JSON – bei daugelį kitų, iš esmės bet kurią kalbą, buvusią mokymo duomenyse. Praktiškai tipinė saugykla, maišanti Python kodą, HTML šablonus, SQL migracijas ir YAML manifestus, gali būti visiškai indeksuota naudojant vieną modelį.
Svarbiausi punktai
codestral-embedoptimizuotas源代码, o ne natūraliajai kalbai- Numatyta 1536 matmenų, masteliuojama iki 3072
- Parametras
output_dimensionleidžia sumažinti vektoriaus dydį - Parametras
output_dtypevaldo tikslumą (float, int8, binary ir kt.) - Modelis supranta kodo semantiką nepriklausomai nuo kalbos