Model codestral-embed
Na tej stronie
Specjalistyczne embeddingi dla kodu
Podczas gdy mistral-embed został zaprojektowany z myślą o języku naturalnym, codestral-embed to model embeddingowy zoptymalizowany specjalnie pod kątem języków programowania. Rozumie on składnię, semantykę i logikę kodu, co czyni go znacznie lepszym od ogólnych modeli tekstowych w każdym zadaniu związanym z kodem źródłowym.
Różnicę widać już na prostym przykładzie. Dwie funkcje realizujące to samo zadanie – jedna napisana z użyciem pętli for, a druga wykorzystująca składnię list comprehension – dzielą ze sobą niemal zero tokenów. Model tekstowy widzi je jako dwa odrębne bloki znaków interpunkcyjnych; model wytrenowany na kodzie łączy je, ponieważ nauczył się, że obie formy wyrażają tę samą intencję.
Specyfikacja techniczna
Model codestral-embed różni się od mistral-embed na kilka kluczowych sposobów:
| Cecha | codestral-embed | mistral-embed |
|---|---|---|
| Domyślna liczba wymiarów | 1536 | 1024 |
| Maksymalna liczba wymiarów | 3072 (dwukrotność domyślnej) | — |
| Typy wyjścia | float, int8, uint8, binary, ubinary | — |
| Optymalizacja | Trenowany na kodzie źródłowym w wielu językach | Język naturalny |
To właśnie elastyczność w zakresie wymiarów i typów wyjścia stanowi w praktyce główną różnicę między tymi modelami. Indeks kodu szybko osiąga rozmiar miliona wektorów, a możliwość czterokrotnego zmniejszenia ich wagi realnie wpływa na koszty infrastruktury.
Podstawowe użycie
API jest identyczne jak w przypadku mistral-embed, z wyjątkiem nazwy modelu: codestral-embed. Nic innego w Twoim kodzie wywołującym się nie zmienia, co pozwala uruchamiać oba modele w tym samym projekcie, modyfikując jedynie jeden parametr.
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
# Kodowanie fragmentów kodu
response = client.embeddings.create(
model="codestral-embed",
inputs=[
"def fibonacci(n): return n if n <= 1 else fibonacci(n-1) + fibonacci(n-2)",
"function fibonacci(n) { return n <= 1 ? n : fibonacci(n-1) + fibonacci(n-2); }",
"public int fibonacci(int n) { return n <= 1 ? n : fibonacci(n-1) + fibonacci(n-2); }",
],
)
for i, data in enumerate(response.data):
print(f"Snippet {i+1}: vector of {len(data.embedding)} dimensions")
# Snippet 1: vector of 1536 dimensions
# Snippet 2: vector of 1536 dimensions
# Snippet 3: vector of 1536 dimensions
Zauważ, że wszystkie trzy fragmenty implementują tę samą logikę (ciąg Fibonacciego) w trzech różnych językach. Ich embeddingi będą bardzo zbliżone mimo różnic składniowych. Właściwość ta umożliwia wyszukiwanie międzyjęzykowe: w wielojęzycznej bazie kodu programista Pythona może znaleźć potrzebną implementację w Javie, nie znając ani słowa tego języka.
Parametr output_dimension
Możesz zmniejszyć rozmiar wektora, aby zaoszczędzić miejsce w pamięci masowej, kosztem niewielkiej utraty precyzji:
# Zmniejszona liczba wymiarów (512 zamiast 1536)
response = client.embeddings.create(
model="codestral-embed",
output_dimension=512,
inputs=["def hello(): print('Hello, World!')"],
)
embedding = response.data[0].embedding
print(f"Dimensions: {len(embedding)}") # 512
Pierwsze wymiary wektora niosą najwięcej informacji. Model został zaprojektowany tak, aby pierwsze n wymiarów zachowywało maksymalną ilość informacji, co pozwala na taką redukcję bez katastrofalnej utraty danych. Innymi słowy, obcięcie wektora nie polega na losowym odrzuceniu jednej trzeciej znaczenia: zachowujesz główny sygnał, tracąc niuanse, co nadal jest w pełni wystarczające do wstępnego filtrowania.
Wybór liczby wymiarów
Poniższe wartości potraktuj jako wytyczne zależne od kontekstu Twojego projektu. Wyszukiwanie o wysokiej precyzji na niewielkim zbiorze danych wymaga innych ustawień niż indeks działający na urządzeniu o ograniczonych zasobach:
# Rekomendacje w zależności od przypadku użycia
DIMENSIONS = {
"high_precision_search": 3072, # Maksymalna jakość
"general_use": 1536, # Domyślne, dobry kompromis
"large_volume": 768, # Kompromis między przechowywaniem a jakością
"prototype": 512, # Szybki rozwój
"embedded": 256, # Ścisłe ograniczenia pamięciowe
}
Parametr output_dtype
Typ wyjścia kontroluje precyzję i rozmiar wartości. Podczas gdy output_dimension redukuje liczbę wartości, output_dtype zmniejsza wagę każdej z nich. Te dwa mechanizmy są niezależne i kumulatywne.
# Float (domyślnie) - maksymalna precyzja
response_float = client.embeddings.create(
model="codestral-embed",
output_dtype="float",
inputs=["def add(a, b): return a + b"],
)
# Int8 - 4 razy bardziej kompaktowy niż float32
response_int8 = client.embeddings.create(
model="codestral-embed",
output_dtype="int8",
inputs=["def add(a, b): return a + b"],
)
# Binary - ekstremalnie kompaktowy
response_binary = client.embeddings.create(
model="codestral-embed",
output_dtype="binary",
inputs=["def add(a, b): return a + b"],
)
Łączenie wymiarów i typu danych
Możesz łączyć oba parametry, aby uzyskać precyzyjną kontrolę. Poniższe dwa wywołania kodują to samo zapytanie SQL i ilustrują skrajne przypadki spektrum: pierwsze dotyczy lekkiego indeksu odpytywanego w sposób ciągły, drugie służy wyszukiwaniu referencyjnemu, gdzie liczy się każdy punkt precyzji.
# Kompaktowy i szybki: 512 wymiarów w int8
response = client.embeddings.create(
model="codestral-embed",
output_dimension=512,
output_dtype="int8",
inputs=["SELECT * FROM users WHERE active = true"],
)
# Wysoka jakość: 3072 wymiary w float
response = client.embeddings.create(
model="codestral-embed",
output_dimension=3072,
output_dtype="float",
inputs=["SELECT * FROM users WHERE active = true"],
)
Zapamiętaj jedną zasadę, którą musisz ustalić już teraz: wektory w Twoim indeksie i wektory w zapytaniach muszą mieć dokładnie takie same parametry. Zakodowanie korpusu w 512 wymiarach, a następnie odpytywanie go w 1536 nie tylko da słabe wyniki, ale spowoduje błąd lub zwróci bezsensowne oceny podobieństwa.
Obsługiwane języki
codestral-embed współpracuje ze wszystkimi popularnymi językami programowania. Po stronie aplikacji obsługuje Python, JavaScript i TypeScript, a także Javę, C, C++, C#, Go i Rust. W zakresie danych i prezentacji model radzi sobie z SQL, HTML i CSS. W obszarze narzędzi i konfiguracji obsługuje Shell/Bash, YAML i JSON – oraz wiele innych, skutecznie każdy język obecny w danych treningowych. W praktyce typowe repozytorium łączące Pythona, szablony HTML, migracje SQL i manifesty YAML może zostać w pełni zaindeksowane przy użyciu jednego modelu.
Kluczowe wnioski
codestral-embedjest zoptymalizowany pod kod źródłowy, a nie język naturalny- Domyślnie 1536 wymiarów, skalowalne do 3072
- Parametr
output_dimensionpozwala zmniejszyć rozmiar wektora - Parametr
output_dtypekontroluje precyzję (float, int8, binary itp.) - Model rozumie semantykę kodu niezależnie od języka programowania