Model codestral-embed
Na tejto strane
Špecializované vkladanie pre kód
Zatiaľ čo mistral-embed je navrhnutý pre prirodzený jazyk, codestral-embed je model vkladania optimalizovaný špecificky pre programovacie jazyky. Rozumie syntaxi, sémantike a logike kódu, čo ho robí výrazne lepším ako všeobecný textový model pri akejkoľvek úlohe týkajúcej sa zdrojového kódu.
Rozdiel vidno už na jednoduchom príklade. Dve funkcie, ktoré robia to isté – jedna napísaná pomocou cyklu for a druhá využívajúca zoznamové odvodenie (list comprehension) – nezdieľajú takmer žiadne tokeny. Textový model ich vníma ako dva odlišné bloky interpunkcie; model trénovaný na kóde ich však spája, pretože sa naučil, že tieto dva formy vyjadrujú rovnaký zámer.
Technické špecifikácie
Model codestral-embed sa líši od mistral-embed v niekoľkých kľúčových aspektoch:
| Funkcia | codestral-embed | mistral-embed |
|---|---|---|
| Predvolená dimenzionalita | 1536 | 1024 |
| Maximálna dimenzionalita | 3072 (dvojnásobok predvolenej) | — |
| Typy výstupu | float, int8, uint8, binary, ubinary | — |
| Optimalizácia | Trénovaný na zdrojovom kóde vo viacerých jazykoch | Prirodzený jazyk |
Práve táto flexibilita v dimenziách a typoch výstupu odlišuje tieto dva modely v praxi. Index kódu rýchlo dosiahne milión vektorov a schopnosť zredukovať ich veľkosť štvornásobne zmení faktúru za infraštruktúru.
Základné použitie
API je identické s mistral-embed, okrem názvu modelu codestral-embed. Vo vašom volacom kóde sa nemení nič iné, čo vám umožňuje spúšťať oba modely v rovnakom projekte úpravou len jedného parametra.
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
# Zakódovanie úryvkov kódu
response = client.embeddings.create(
model="codestral-embed",
inputs=[
"def fibonacci(n): return n if n <= 1 else fibonacci(n-1) + fibonacci(n-2)",
"function fibonacci(n) { return n <= 1 ? n : fibonacci(n-1) + fibonacci(n-2); }",
"public int fibonacci(int n) { return n <= 1 ? n : fibonacci(n-1) + fibonacci(n-2); }",
],
)
for i, data in enumerate(response.data):
print(f"Snippet {i+1}: vector of {len(data.embedding)} dimensions")
# Snippet 1: vector of 1536 dimensions
# Snippet 2: vector of 1536 dimensions
# Snippet 3: vector of 1536 dimensions
Všimni si, že všetky tri úryvky implementujú rovnakú logiku (Fibonacciho postupnosť) v troch rôznych jazykoch. Ich vektory vkladania budú veľmi blízko pri sebe napriek syntaktickým rozdielom. Táto vlastnosť umožňuje vyhľadávanie naprieč jazykmi: v polyglotnej kódovej základni môže vývojár v Pythone nájsť potrebnú implementáciu v Jave, aj keď neovláda ani slovo z Javy.
Parameter output_dimension
Veľkosť vektora môžeš zmenšiť, aby si ušetril úložný priestor, za cenu miernej straty presnosti:
# Znížená dimenzionalita (512 namiesto 1536)
response = client.embeddings.create(
model="codestral-embed",
output_dimension=512,
inputs=["def hello(): print('Hello, World!')"],
)
embedding = response.data[0].embedding
print(f"Dimensions: {len(embedding)}") # 512
Prvé dimenzie vektora sú najinformatívnejšie. Model je navrhnutý tak, že prvých n dimenzií si zachováva maximálne množstvo informácií, čo umožňuje túto redukciu bez katastrofálnej straty. Inými slovami, orezanie vektora nie je ako náhodné zahodenie tretiny významu: zachováš si základný signál a stratíš nuansy, čo zostáva úplne použiteľné pre počiatočné filtrovanie.
Výber dimenzie
Nasledujúce hodnoty používaj ako usmernenie podľa kontextu tvojho projektu. Vyhľadávanie s vysokou presnosťou na modestnom korpuse si vyžaduje iné nastavenia ako index bežiaci na stroji s obmedzenými zdrojmi:
# Odporúčania podľa prípadu použitia
DIMENSIONS = {
"high_precision_search": 3072, # Maximálna kvalita
"general_use": 1536, # Predvolené, dobrý kompromis
"large_volume": 768, # Kompromis medzi úložiskom a kvalitou
"prototype": 512, # Rýchly vývoj
"embedded": 256, # Prísne obmedzenia pamäte
}
Parameter output_dtype
Typ výstupu riadi presnosť a veľkosť hodnôt. Kým output_dimension znižuje počet hodnôt, output_dtype znižuje váhu každej jednej z nich. Tieto dve páky sú nezávislé a kumulatívne.
# Float (predvolené) - maximálna presnosť
response_float = client.embeddings.create(
model="codestral-embed",
output_dtype="float",
inputs=["def add(a, b): return a + b"],
)
# Int8 - 4x kompaktnejšie ako float32
response_int8 = client.embeddings.create(
model="codestral-embed",
output_dtype="int8",
inputs=["def add(a, b): return a + b"],
)
# Binary - extrémne kompaktné
response_binary = client.embeddings.create(
model="codestral-embed",
output_dtype="binary",
inputs=["def add(a, b): return a + b"],
)
Kombinácia dimenzie a typu dát
Oba parametre môžeš kombinovať pre presnú kontrolu. Dva nasledujúce volania kódujú rovnaký SQL dopyt a ilustrujú extrémy spektra: prvé cieli na ľahký index neustále dotazovaný, zatiaľ čo druhé slúži na referenčné vyhľadávanie, kde záleží na každom bode presnosti.
# Kompaktné a rýchle: 512 dimenzií v int8
response = client.embeddings.create(
model="codestral-embed",
output_dimension=512,
output_dtype="int8",
inputs=["SELECT * FROM users WHERE active = true"],
)
# Vysoká kvalita: 3072 dimenzií vo float
response = client.embeddings.create(
model="codestral-embed",
output_dimension=3072,
output_dtype="float",
inputs=["SELECT * FROM users WHERE active = true"],
)
Tu je pravidlo, ktoré si musíš stanoviť hneď teraz: vektory vo vašom indexe a vektory vo vašich dopytoch musia mať úplne rovnaké parametre. Zakódovanie korpusu do 512 dimenzií a následné dotazovanie v 1536 nielenže prináša zlé výsledky, ale produkuje chybu alebo nezmyselné skóre.
Podporované jazyky
codestral-embed funguje so všetkými bežnými programovacími jazykmi. Na aplikačnej strane pokrýva Python, JavaScript a TypeScript, ako aj Javu, C, C++, C#, Go a Rust. Pre dáta a prezentáciu model zvláda SQL, HTML a CSS. Pre nástroje a konfiguráciu spravuje Shell/Bash, YAML a JSON – a mnoho ďalších, efektívne akýkoľvek jazyk prítomný v trénovacích dátach. V praxi môže byť typické úložisko miešajúce Python, HTML šablóny, SQL migrácie a YAML manifesty plne indexované jediným modelom.
Kľúčové poznatky
codestral-embedje optimalizovaný pre zdrojový kód, nie pre prirodzený jazyk- Predvolene 1536 dimenzií, škálovateľné až na 3072
- Parameter
output_dimensionti umožňuje zmenšiť veľkosť vektora - Parameter
output_dtyperiadi presnosť (float, int8, binary atď.) - Model rozumie sémantike kódu bez ohľadu na jazyk