Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Modelis codestral-embed

Nodarbība 5 no 18 Atjaunota 2026. gada 2. novembris Programmētājs
Šajā lapā
  1. Specializēti embedingi kodam
  2. Tehniskās specifikācijas
  3. Pamatlietojums
  4. Parametrs output_dimension
  5. Parametrs output_dtype
  6. Dimensiju un datu tipa kombinēšana
  7. Atbalstītās valodas
  8. Galvenās atziņas

Specializēti embedingi kodam

Kamēr mistral-embed ir paredzēts dabiskajai valodai, codestral-embed ir embedingu modelis, kas optimizēts tieši programmēšanas valodām. Tas saprot koda sintaksi, semantiku un loģiku, padarot to ievērojami pārāku par vispārīgiem teksta modeļiem jebkurā uzdevumā, kas saistīts ar pirmkodu.

Atšķirību vari redzēt vienkāršā piemērā. Divas funkcijas, kas dara to pašu – viena rakstīta ar for ciklu, otra izmantojot saraksta komprehensiju – koplieto gandrīz nekādus tokenus. Teksta modelis tās uztver kā divus atšķirīgus interpunkcijas blokus; modelis, kas apmācīts uz koda, tās apvieno, jo tas ir iemācījies, ka šīs divas formas izsaka vienu un to pašu nodomu.

Tehniskās specifikācijas

Modelis codestral-embed atšķiras no mistral-embed vairākos galvenos aspektos:

Iezīmecodestral-embedmistral-embed
Noklusējuma dimensijas15361024
Maksimālās dimensijas3072 (divreiz vairāk par noklusējumu)—
Izvades tipifloat, int8, uint8, binary, ubinary—
OptimizācijaApmācīts uz daudzvalodu pirmkodaDabiskā valoda

Tieši šī elastība dimensijās un izvades tipos praksē īsti nošķir abus modeļus. Koda indekss ātri sasniedz miljonu vektoru, un iespēja samazināt to svaru četras reizes maina infrastruktūras izmaksas.

Pamatlietojums

API ir identisks mistral-embed, izņemot modeļa nosaukumu codestral-embed. Nekas cits tavā izsaucošajā kodā nemainās, kas ļauj abiem modeļiem darboties vienā projektā, pielāgojot tikai vienu parametru.

from mistralai.client import Mistral

client = Mistral(api_key=api_key)

# Kodē koda fragmentus
response = client.embeddings.create(
    model="codestral-embed",
    inputs=[
        "def fibonacci(n): return n if n <= 1 else fibonacci(n-1) + fibonacci(n-2)",
        "function fibonacci(n) { return n <= 1 ? n : fibonacci(n-1) + fibonacci(n-2); }",
        "public int fibonacci(int n) { return n <= 1 ? n : fibonacci(n-1) + fibonacci(n-2); }",
    ],
)

for i, data in enumerate(response.data):
    print(f"Snippet {i+1}: vector of {len(data.embedding)} dimensions")
# Snippet 1: vector of 1536 dimensions
# Snippet 2: vector of 1536 dimensions
# Snippet 3: vector of 1536 dimensions

Ievēro, ka visi trīs fragmenti ievieš vienu un to pašu loģiku (Fibonači) trīs dažādās valodās. To embedingi būs ļoti tuvu viens otram, neskatoties uz sintaktiskajām atšķirībām. Šī īpašība ļauj veikt meklēšanu pāri valodām: poliglotu kodu bāzē Python izstrādātājs var atrast nepieciešamo Java implementāciju, nepazīstot ne vārda no Java valodas.

Parametrs output_dimension

Tu vari samazināt vektora izmēru, lai ietaupītu krātuves vietu, upurējot nelielu precizitātes daļu:

# Samazinātas dimensijas (512 instead of 1536)
response = client.embeddings.create(
    model="codestral-embed",
    output_dimension=512,
    inputs=["def hello(): print('Hello, World!')"],
)

embedding = response.data[0].embedding
print(f"Dimensions: {len(embedding)}")  # 512

Vektora pirmās dimensijas ir visinformatīvākās. Modelis ir izveidots tā, lai pirmās n dimensijas saglabātu maksimālo informācijas daudzumu, ļaujot šo samazinājumu veikt bez katastrofāliem zaudējumiem. Citiem vārdiem sakot, vektora saīsināšana nav līdzvērtīga nejaušai trešdaļas nozīmes izmešanai: tu saglabā galveno signālu un zaudē nianses, kas joprojām ir pilnīgi piemērots sākotnējai atlases fāzei.

Dimensiju izvēle

Izmanto šīs vērtības kā vadlīnijas, balstoties uz tava projekta kontekstu. Augstas precizitātes meklēšana nelielā korpusā prasa citus iestatījumus nekā indekss, kas darbojas uz ierobežotu resursu mašīnas:

# Ieteikumi pēc lietojuma gadījuma
DIMENSIONS = {
    "high_precision_search": 3072,   # Maksimāla kvalitāte
    "general_use": 1536,             # Noklusējums, labs kompromiss
    "large_volume": 768,             # Krātuves/kvalitātes kompromiss
    "prototype": 512,                # Ātra izstrāde
    "embedded": 256,                 # Stingri atmiņas ierobežojumi
}

Parametrs output_dtype

Izvades tips kontrolē vērtību precizitāti un izmēru. Tur, kur output_dimension samazina vērtību skaitu, output_dtype samazina katras vērtības svaru. Šie divi sviras ir neatkarīgas un kumulatīvas.

# Float (noklusējums) - maksimāla precizitāte
response_float = client.embeddings.create(
    model="codestral-embed",
    output_dtype="float",
    inputs=["def add(a, b): return a + b"],
)

# Int8 - 4x kompaktāks nekā float32
response_int8 = client.embeddings.create(
    model="codestral-embed",
    output_dtype="int8",
    inputs=["def add(a, b): return a + b"],
)

# Binary - ārkārtīgi kompakts
response_binary = client.embeddings.create(
    model="codestral-embed",
    output_dtype="binary",
    inputs=["def add(a, b): return a + b"],
)

Dimensiju un datu tipa kombinēšana

Tu vari apvienot abus parametrus precīzai kontrolei. Zemāk esošie divi izsaukumi kodē vienu un to pašu SQL vaicājumu un ilustrē spektra galējības: pirmais ir paredzēts vieglam indeksam, ko nepārtraukti vaicā, bet otrais kalpo atsauces meklēšanai, kur katrs precizitātes punkts ir svarīgs.

# Kompakts un ātrs: 512 dimensijas int8 formātā
response = client.embeddings.create(
    model="codestral-embed",
    output_dimension=512,
    output_dtype="int8",
    inputs=["SELECT * FROM users WHERE active = true"],
)

# Augsta kvalitāte: 3072 dimensijas float formātā
response = client.embeddings.create(
    model="codestral-embed",
    output_dimension=3072,
    output_dtype="float",
    inputs=["SELECT * FROM users WHERE active = true"],
)

Šeit ir likums, kas jāiestata jau tagad: vektoriem tavā indeksā un vektoriem tavos vaicājumos ir jābūt tieši vienādiem parametriem. Korpusa kodēšana 512 dimensijās un pēc tam vaicājumu veikšana 1536 dimensijās ne tikai dos sliktus rezultātus, bet radīs kļūdu vai bezjēdzīgus rezultātus.

Atbalstītās valodas

codestral-embed strādā ar visām izplatītākajām programmēšanas valodām. Lietojumprogrammu līmenī tas aptver Python, JavaScript un TypeScript, kā arī Java, C, C++, C#, Go un Rust. Datu un noformējuma vajadzībām modelis apstrādā SQL, HTML un CSS. Rīku un konfigurācijas vajadzībām tas pārvalda Shell/Bash, YAML un JSON – un daudzas citas, efektīvi jebkuru valodu, kas bija apmācības datos. Praksē tipisku repozitoriju, kas sajauc Python, HTML veidnes, SQL migrācijas un YAML manifestus, var pilnībā indeksēt ar vienu modeli.

Galvenās atziņas

  • codestral-embed ir optimizēts pirmkodam, nevis dabiskajai valodai
  • Noklusējuma 1536 dimensijas, mērogojamas līdz 3072
  • Parametrs output_dimension ļauj samazināt vektora izmēru
  • Parametrs output_dtype kontrolē precizitāti (float, int8, binary u.c.)
  • Modelis saprot koda semantiku neatkarīgi no valodas