Codestral Embed: Code Embeddings
Na ovoj stranici
Codestral Embed: pretraživanje koda po značenju
Generiranje i dopunjavanje koda nije dovoljno. Također moraš pronaći datoteku u repozitoriju od stotina njih koja već rješava tvoj problem. To je zadaća trećeg specijaliziranog alata tvrtke Mistral AI: Codestral Embed (v25.05). Ovaj model za ugradnju (embedding) pretvara isječke koda u numeričke vektore, omogućujući semantičko pretraživanje kroz repozitorije.
Što je ugradnja (embedding) koda?
Ugradnja je gusta vektorska reprezentacija teksta ili isječka koda. Ključno svojstvo je jednostavno: dva semantički slična isječka proizvode vektore koji su blizu jedan drugome u vektorskom prostoru, čak i ako im sintaksa uopće ne sliči. Razmotri dvije funkcije u nastavku. One imaju različita imena, različita imena varijabli i različite implementacije.
# Function 1
def calculer_moyenne(nombres):
return sum(nombres) / len(nombres)
# Function 2
def average(values):
total = 0
for v in values:
total += v
return total / len(values)
Pretraživanje pomoću grep nikada ne bi pronašlo drugu funkciju polazeći od prve. Codestral Embed, međutim, proizvodi bliske vektore za obje jer rješavaju isti problem.
Tehničke specifikacije
ID modela je codestral-embed-latest (v25.05). Pozivaš ga na krajnjoj točki /v1/embeddings. Obrađuje izvorni kod na svim jezicima koje podržava Codestral. Njegova istaknuta značajka su konfigurabilne dimenzije, u rasponu od 1536 do 3072. Postavka od 1536 dimenzija nudi solidan omjer kvalitete i troškova te funkcionira za većinu slučajeva upotrebe. Postavka od 3072 dimenzije cilja na maksimalnu kvalitetu za najzahtjevnija pretraživanja. Pravilo je stalno: više dimenzija znači bolju semantičku preciznost, ali i veće troškove pohrane te više računanja za svaku usporedbu. Za repozitorij srednje veličine, kreni s 1536 i povećaj samo ako rezultati djeluju nejasno.
Korištenje API-ja
Osnovni poziv izgleda poput krajnje točke za chat: instanciraj klijenta, proslijedi isječak i dobij vektor kao odgovor.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
code_snippet = """
def fibonacci(n):
if n <= 1:
return n
return fibonacci(n-1) + fibonacci(n-2)
"""
response = client.embeddings.create(
model="codestral-embed-latest",
inputs=[code_snippet],
)
embedding = response.data[0].embedding
print(f"Dimensions: {len(embedding)}")
print(f"First values: {embedding[:5]}")
Imaj na umu da je parametar inputs lista. Ova pojedinost je važna: za indeksiranje cijelog repozitorija šalješ više isječaka u jednom zahtjevu umjesto jednog zahtjeva po datoteci. Na stvarnom repozitoriju, ta razlika zbraja se u ušteđene minute.
code_snippets = [
"def tri_bulle(liste): ...",
"def tri_rapide(liste): ...",
"def tri_fusion(liste): ...",
"def recherche_binaire(liste, cible): ...",
]
response = client.embeddings.create(
model="codestral-embed-latest",
inputs=code_snippets,
)
embeddings = [item.embedding for item in response.data]
Semantičko pretraživanje u kodnoj bazi
Primarni slučaj upotrebe izravno proizlazi iz ovoga: umjesto pretraživanja po ključnim riječima, pretražuješ po namjeri. Cjevovod ima dva koraka. Prvo, indeksiraj kodnu bazu jednom, pridružujući ugradnju svakoj datoteci. Zatim, transformiraj upit u vektor i rangiraj datoteke prema kosinusnoj sličnosti, standardnoj mjeri bliskosti između dva vektora.
import numpy as np
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# 1. Index the codebase (do this once)
def index_codebase(files: list[dict]) -> list[dict]:
"""Indexes a list of files with their embeddings."""
contents = [f["content"] for f in files]
response = client.embeddings.create(
model="codestral-embed-latest",
inputs=contents,
)
for i, file in enumerate(files):
file["embedding"] = response.data[i].embedding
return files
# 2. Search by intent
def search_code(query: str, index: list[dict], top_k: int = 5) -> list[dict]:
"""Semantic search in the indexed codebase."""
response = client.embeddings.create(
model="codestral-embed-latest",
inputs=[query],
)
query_vector = np.array(response.data[0].embedding)
# Calculate cosine similarity
results = []
for file in index:
file_vector = np.array(file["embedding"])
similarity = np.dot(query_vector, file_vector) / (
np.linalg.norm(query_vector) * np.linalg.norm(file_vector)
)
results.append({**file, "score": similarity})
results.sort(key=lambda x: x["score"], reverse=True)
return results[:top_k]
# 3. Usage
results = search_code(
"function that validates an email address",
index=my_index
)
Pogledaj konačni upit: „function that validates an email address“. Ne sadrži identifikatore projekta, imena datoteka niti ključne riječi koda. To je cijela razlika u odnosu na tekstualno pretraživanje i čini alat upotrebljivim čak i za nekoga tko je nov u repozitoriju.
Napredni slučajevi upotrebe
Najmoćnija kombinacija povezuje Codestral Embed s Codestralom ili modelom opće namjene poput Mistral Small 4. To je obrazac RAG (Retrieval-Augmented Generation) primijenjen na kod. Prvo dohvaćaš relevantne datoteke, ubacuješ ih u sistemsku poruku, a zatim postavljaš svoje pitanje. Model tada odgovara na temelju tvoje kodne baze, a ne samo na temelju svog općeg znanja o jeziku.
# 1. Find relevant files with Codestral Embed
results = search_code("HTTP error handling", index)
# 2. Build context
context = "\n\n".join([r["content"] for r in results[:3]])
# 3. Generate a response with Codestral
response = client.chat.complete(
model="codestral-latest",
messages=[
{"role": "system", "content": f"Here is the relevant code from the project:\n{context}"},
{"role": "user", "content": "How can I improve HTTP error handling in this project?"}
],
)
Isti indeks služi manje upečatljivom, ali iznimno vrijednom zadatku: otkrivanju dupliciranog koda. Usporedbom svakog para funkcija i označavanjem onih sa sličnošću iznad praga, dobivaš popis kandidata za refaktoriranje koje nitko u timu nije uočio.
# Compare every pair of functions
for i, func_a in enumerate(functions):
for j, func_b in enumerate(functions):
if i >= j:
continue
similarity = cosine(func_a["embedding"], func_b["embedding"])
if similarity > 0.90:
print(f"Potential duplication: {func_a['name']} <-> {func_b['name']}")
Prag od 0,90 trebao biš prilagoditi na vlastitom kodu prije donošenja zaključaka. Ako ga postaviš prenisko, označit ćeš funkcije koje izgledaju slično, ali rade različite stvari. Ako ga postaviš previsoko, uhvatit ćeš samo doslovna kopiranja – ona koja bi ionako pronašao.
Ključne točke
- Codestral Embed (v25.05) pretvara kod u vektore za semantičko pretraživanje
- Podržava od 1536 do 3072 dimenzije, ovisno o tvojim potrebama za preciznošću
- Semantičko pretraživanje omogućuje traženje po namjeri, a ne po ključnim riječima
- RAG obrazac (dohvaćanje + generiranje) najmoćniji je slučaj upotrebe
- Ugradnje također omogućuju otkrivanje duplikata i grupiranje koda