Mudel codestral-embed
Sellel lehel
Spetsialiseeritud embeddid koodile
Kuigi mistral-embed on loodud loomuliku keele jaoks, on codestral-embed embeddi mudel, mis on optimeeritud spetsiaalselt programmeerimiskeelte jaoks. See mõistab koodi süntaksit, semantikat ja loogikat, muutes selle igasuguse lähtekoodiga seotud ülesande puhul tunduvalt paremaks kui üldine tekst mudel.
Saad erinevust näha lihtsas näites. Kaks funktsiooni, mis teevad sama asja – üks kirjutatud for tsükliga ja teine kasutades loendi komprehensiooni – ei jaga peaaegu ühtegi tokenit. Tekstimudel näeb neid kahe erineva kirjavahemärkide plokina; koodil treenitud mudel toob need kokku, sest on õppinud, et need kaks vormi väljendavad sama intentsiooni.
Tehnilised spetsifikatsioonid
Mudel codestral-embed erineb mudelist mistral-embed mitme võtmetähtsusega omaduse poolest:
| Omadus | codestral-embed | mistral-embed |
|---|---|---|
| Vaikimisi mõõtmed | 1536 | 1024 |
| Maksimaalsed mõõtmed | 3072 (kaks korda vaikimisi väärtus) | — |
| Väljundtüübid | float, int8, uint8, binary, ubinary | — |
| Optimeerimine | Treenitud mitmekeelsel lähtekoodil | Loomulik keel |
Just see paindlikkus mõõtmete ja väljundtüüpide osas eristab kahte mudelit praktikas tõeliselt. Koodi indeks jõuab kiiresti miljoni vektorini ja võimalus vähendada nende kaalu neljakordselt muudab infrastruktuurikulusid oluliselt.
Põhikasutus
API on identne mistral-embed omaga, välja arvatud mudeli nimi codestral-embed. Sinu väljakutsuvas koodis ei muutu midagi muud, mis võimaldab sul käivitada mõlemat mudelit samas projektis, kohandades vaid ühte parameetrit.
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
# Kodeeri koodilõigud
response = client.embeddings.create(
model="codestral-embed",
inputs=[
"def fibonacci(n): return n if n <= 1 else fibonacci(n-1) + fibonacci(n-2)",
"function fibonacci(n) { return n <= 1 ? n : fibonacci(n-1) + fibonacci(n-2); }",
"public int fibonacci(int n) { return n <= 1 ? n : fibonacci(n-1) + fibonacci(n-2); }",
],
)
for i, data in enumerate(response.data):
print(f"Snippet {i+1}: vector of {len(data.embedding)} dimensions")
# Snippet 1: vector of 1536 dimensions
# Snippet 2: vector of 1536 dimensions
# Snippet 3: vector of 1536 dimensions
Pane tähele, et kõik kolm lõiku rakendavad sama loogikat (Fibonacci) kolmes erinevas keeles. Nende embeddid on väga lähedased vaatamata süntaktilistele erinevustele. See omadus võimaldab keeleülest otsingut: polüglot koodibaasis saab Pythoni arendaja leida vajaliku Java implementatsiooni, teadmata sõnagi Java keelest.
Parameeter output_dimension
Saad vähendada vektori suurust, et säästa salvestusruumi, arvestades kerget täpsuse kaotust:
# Vähendatud mõõtmed (512 asemel 1536)
response = client.embeddings.create(
model="codestral-embed",
output_dimension=512,
inputs=["def hello(): print('Hello, World!')"],
)
embedding = response.data[0].embedding
print(f"Dimensions: {len(embedding)}") # 512
Vektori esimesed mõõtmed on kõige informatiivsemad. Mudel on disainitud nii, et esimesed n mõõdet säilitavad maksimaalse infohulga, võimaldades seda vähendamist ilma katastroofiline kaota. Teisisõnu, vektori lühendamine ei ole nagu juhuslikult kolmandiku tähenduse ära viskamine: sa säilitad tuumasignaali ja kaotad nüansi, mis jääb esmaseks filtreerimiseks täiesti elujõuliseks.
Mõõtme valimine
Kasuta järgmisi väärtusi suunistena sõltuvalt oma projekti kontekstist. Suure täpsusega otsing tagasihoidlikus korpuses nõuab erinevaid seadeid kui ressursipiirangutega masinal töötav indeks:
# Soovitused kasutusjuhu kohta
DIMENSIONS = {
"high_precision_search": 3072, # Maksimaalne kvaliteet
"general_use": 1536, # Vaikimisi, hea kompromiss
"large_volume": 768, # Salvestus/kvaliteedi kompromiss
"prototype": 512, # Kiire arendus
"embedded": 256, # Ranged mälupiirangud
}
Parameeter output_dtype
Väljunditüüp kontrollib väärtuste täpsust ja suurust. Kui output_dimension vähendab väärtuste arvu, siis output_dtype vähendab igaühe kaalu. Need kaks hooba on sõltumatud ja kumulatiivsed.
# Float (vaikimisi) - maksimaalne täpsus
response_float = client.embeddings.create(
model="codestral-embed",
output_dtype="float",
inputs=["def add(a, b): return a + b"],
)
# Int8 - 4x kompaktsem kui float32
response_int8 = client.embeddings.create(
model="codestral-embed",
output_dtype="int8",
inputs=["def add(a, b): return a + b"],
)
# Binary - äärmiselt kompaktne
response_binary = client.embeddings.create(
model="codestral-embed",
output_dtype="binary",
inputs=["def add(a, b): return a + b"],
)
Mõõtme ja Dtype’i kombineerimine
Saad mõlemat parameetrit kombineerida täpseks kontrolliks. Allpool olevad kaks väljakutset kodeerivad sama SQL-päringu ja illustreerivad spektri äärmusi: esimene sihib kerget indeksi, mida päritakse pidevalt, teine teenindab võrdlusotsingut, kus iga täpsuspunkt loeb.
# Kompaktne ja kiire: 512 mõõdet int8-s
response = client.embeddings.create(
model="codestral-embed",
output_dimension=512,
output_dtype="int8",
inputs=["SELECT * FROM users WHERE active = true"],
)
# Kõrge kvaliteet: 3072 mõõdet float-is
response = client.embeddings.create(
model="codestral-embed",
output_dimension=3072,
output_dtype="float",
inputs=["SELECT * FROM users WHERE active = true"],
)
Siin on reegel, mille peaksid kohe paika panema: sinu indeksis olevad vektorid ja sinu päringutes olevad vektorid peavad jagama täpselt samu parameetreid. Korpuse kodeerimine 512 mõõtmesse ja seejärel päringu tegemine 1536 mõõtmes ei anna mitte ainult halbu tulemusi, vaid toodab vea või mõttetuid skoori.
Toetatud keeled
codestral-embed töötab kõigi levinud programmeerimiskeeltega. Rakenduse poolelt hõlmab see Pythoni, JavaScripti ja TypeScripti, samuti Javat, C-d, C++-i, C#-i, Go-d ja Rusti. Andmete ja esitluse jaoks haldab mudel SQL-i, HTML-i ja CSS-i. Tööriistade ja konfiguratsiooni jaoks haldab see Shell/Bash-i, YAML-i ja JSON-i – ning paljusid teisi, sisuliselt iga keelt, mis on olemas treeningandmestikus. Praktikas saab tüüpilise hoidla, mis segab Pythoni, HTML-malle, SQL-migratsioone ja YAML-manifeste, täielikult indekseerida ühe mudeliga.
Peamised punktid
codestral-embedon optimeeritud lähtekoodile, mitte loomulikule keelele- Vaikimisi 1536 mõõdet, skaleeritav kuni 3072-ni
- Parameeter
output_dimensionvõimaldab vähendada vektori suurust - Parameeter
output_dtypekontrollib täpsust (float, int8, binary jne) - Mudel mõistab koodi semantikat sõltumata keelest