Codestral Embed: Vkladanie kódu
Na tejto strane
Codestral Embed: Sémantické vyhľadávanie v kóde
Generovanie a dopĺňanie kódu nestačí. Často potrebuješ nájsť súbor v repozitári so stovkami položiek, ktorý už tvoj problém rieši. Presne na to slúži tretí špecializovaný nástroj od Mistral AI: Codestral Embed (v25.05). Tento model vkladania (embedding) prevádza úryvky kódu na číselné vektory, čo umožňuje sémantické vyhľadávanie naprieč celými repozitármi.
Čo je vkladanie kódu (Code Embedding)?
Vkladanie je hustá vektorová reprezentácia textu alebo úryvku kódu. Jeho kľúčová vlastnosť je jednoduchá: dva sémanticky podobné úryvky vytvoria vektory, ktoré sú vo vektorovom priestore blízko pri sebe, aj keď ich syntax vyzerá úplne odlišne. Pozri sa na tieto dve funkcie. Majú rôzne názvy, rôzne názvy premenných a odlišnú implementáciu.
# Function 1
def calculer_moyenne(nombres):
return sum(nombres) / len(nombres)
# Function 2
def average(values):
total = 0
for v in values:
total += v
return total / len(values)
Vyhľadávanie pomocou grep by nikdy nenašlo druhú funkciu, ak by si vyšiel z tej prvej. Codestral Embed však pre obe vygeneruje blízke vektory, pretože riešia rovnaký problém.
Technické špecifikácie
ID modelu je codestral-embed-latest (v25.05). Voláš ho na koncovom bode /v1/embeddings. Spracováva zdrojový kód vo všetkých jazykoch, ktoré podporuje Codestral. Jeho výnimočnou vlastnosťou sú nastaviteľné dimenzie v rozsahu od 1536 do 3072. Nastavenie s 1536 dimenziami ponúka solídny pomer kvality k nákladom a funguje pre väčšinu prípadov použitia. Nastavenie s 3072 dimenziami cieli na maximálnu kvalitu pre tie najnáročnejšie vyhľadávania. Pravidlo je stále rovnaké: viac dimenzií znamená lepšiu sémantickú presnosť, ale aj vyššie náklady na úložisko a viac výpočtového času pri každom porovnaní. Pre repozitár strednej veľkosti začni na 1536 a zvýš to len v prípade, že sa výsledky zdajú byť nepresné.
Používanie API
Základné volanie vyzerá podobne ako pri koncovom bode pre chat: vytvoríš inštanciu klienta, pošleš úryvok kódu a dostaneš späť vektor.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
code_snippet = """
def fibonacci(n):
if n <= 1:
return n
return fibonacci(n-1) + fibonacci(n-2)
"""
response = client.embeddings.create(
model="codestral-embed-latest",
inputs=[code_snippet],
)
embedding = response.data[0].embedding
print(f"Dimensions: {len(embedding)}")
print(f"First values: {embedding[:5]}")
Všimni si, že parameter inputs je zoznam. Tento detail je dôležitý: na indexovanie celého repozitára pošleš viacero úryvkov v jednej požiadavke, namiesto jednej požiadavky na každý súbor. Pri skutočnom repozitári ti tento rozdiel ušetrí minúty času.
code_snippets = [
"def tri_bulle(liste): ...",
"def tri_rapide(liste): ...",
"def tri_fusion(liste): ...",
"def recherche_binaire(liste, cible): ...",
]
response = client.embeddings.create(
model="codestral-embed-latest",
inputs=code_snippets,
)
embeddings = [item.embedding for item in response.data]
Sémantické vyhľadávanie v kódovej základni
Primárny prípad použitia z toho vyplýva priamo: namiesto vyhľadávania podľa kľúčových slov vyhľadávaš podľa zámeru. Pipeline má dva kroky. Najprv raz zindexuješ kódovú základňu a pripojíš vkladanie ku každému súboru. Potom transformuješ dopyt na vektor a zoradíš súbory podľa kosínusovej podobnosti, čo je štandardné meradlo blízkosti medzi dvoma vektormi.
import numpy as np
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# 1. Index the codebase (do this once)
def index_codebase(files: list[dict]) -> list[dict]:
"""Indexes a list of files with their embeddings."""
contents = [f["content"] for f in files]
response = client.embeddings.create(
model="codestral-embed-latest",
inputs=contents,
)
for i, file in enumerate(files):
file["embedding"] = response.data[i].embedding
return files
# 2. Search by intent
def search_code(query: str, index: list[dict], top_k: int = 5) -> list[dict]:
"""Semantic search in the indexed codebase."""
response = client.embeddings.create(
model="codestral-embed-latest",
inputs=[query],
)
query_vector = np.array(response.data[0].embedding)
# Calculate cosine similarity
results = []
for file in index:
file_vector = np.array(file["embedding"])
similarity = np.dot(query_vector, file_vector) / (
np.linalg.norm(query_vector) * np.linalg.norm(file_vector)
)
results.append({**file, "score": similarity})
results.sort(key=lambda x: x["score"], reverse=True)
return results[:top_k]
# 3. Usage
results = search_code(
"function that validates an email address",
index=my_index
)
Pozri sa na finálny dopyt: „function that validates an email address“. Neobsahuje žiadne identifikátory projektu, žiadne názvy súborov ani žiadne kľúčové slová kódu. To je celý rozdiel oproti textovému vyhľadávaniu a vďaka tomu je nástroj použiteľný aj pre niekoho, kto je v repozitári nový.
Pokročilé prípady použitia
Najsilnejšou kombináciou je prepojenie Codestral Embed s modelom Codestral alebo všeobecným modelom, ako je Mistral Small 4. Ide o vzor RAG (Retrieval-Augmented Generation) aplikovaný na kód. Najprv získaš relevantné súbory, vložíš ich do systémovej správy a potom položíš svoju otázku. Model potom odpovedá na základe tvojej kódovej základne, nielen na základe svojich všeobecných vedomostí o danom jazyku.
# 1. Find relevant files with Codestral Embed
results = search_code("HTTP error handling", index)
# 2. Build context
context = "\n\n".join([r["content"] for r in results[:3]])
# 3. Generate a response with Codestral
response = client.chat.complete(
model="codestral-latest",
messages=[
{"role": "system", "content": f"Here is the relevant code from the project:\n{context}"},
{"role": "user", "content": "How can I improve HTTP error handling in this project?"}
],
)
Ten istý index slúži aj na menej efektnú, no vysoko hodnotnú úlohu: detekciu duplicitného kódu. Porovnaním každého páru funkcií a označením tých, ktorých podobnosť presahuje určitú hranicu, získaš zoznam kandidátov na refaktoring, ktoré si nikto v tíme nevšimol.
# Compare every pair of functions
for i, func_a in enumerate(functions):
for j, func_b in enumerate(functions):
if i >= j:
continue
similarity = cosine(func_a["embedding"], func_b["embedding"])
if similarity > 0.90:
print(f"Potential duplication: {func_a['name']} <-> {func_b['name']}")
Hranicu 0,90 by si mal doladiť na vlastnom kóde skôr, než vyvodíš závery. Ak ju nastavíš príliš nízko, systém označí funkcie, ktoré vyzerajú podobne, ale robia rôzne veci. Ak ju nastavíš príliš vysoko, zachytí len doslovné kopírovanie – tie by si našiel aj tak.
Kľúčové poznatky
- Codestral Embed (v25.05) prevádza kód na vektory určené pre sémantické vyhľadávanie
- Podporuje 1536 až 3072 dimenzií v závislosti od tvojich potrieb na presnosť
- Sémantické vyhľadávanie ti umožňuje hľadať podľa zámeru, nie podľa kľúčových slov
- Vzorec RAG (vyhľadanie + generovanie) je najsilnejším prípadom použitia
- Vkladania umožňujú aj detekciu duplicít a zhlukovanie kódu