Codestral Embed: Vdelave kode
Na tej strani
Codestral Embed: Iskanje po pomenu za kodo
Generiranje in dopolnjevanje kode ni dovolj. Pogosto moraš v repozitoriju s stotinami datotek najti tisto, ki že rešuje tvoj problem. To je naloga tretjega specializiranega orodja podjetja Mistral AI: Codestral Embed (v25.05). Ta model za vdelavo pretvori izseke kode v številčne vektorje, kar omogoča iskanje po pomenu (semantic search) v celotnih repozitorijih.
Kaj je vdelava kode?
Vdelava (embedding) je gosta vektorska predstavitev besedila ali izseka kode. Njena ključna lastnost je preprosta: dva pomensko podobna izseka ustvarita vektorja, ki sta v vektorskem prostoru blizu drug drugemu, tudi če njuna sintaksa ni videti nič podobna. Razmisli o spodnjih dveh funkcijah. Imata različna imena, različna imena spremenljivk in različne implementacije.
# Function 1
def calculer_moyenne(nombres):
return sum(nombres) / len(nombres)
# Function 2
def average(values):
total = 0
for v in values:
total += v
return total / len(values)
Iskanje z grep druge funkcije nikoli ne bi našlo, če bi izhajal iz prve. Codestral Embed pa za obe ustvari bližnja vektorja, ker rešujeta isti problem.
Tehnične specifikacije
ID modela je codestral-embed-latest (v25.05). Kličete ga na končni točki /v1/embeddings. Obdela izvorno kodo v vseh jezikih, ki jih podpira Codestral. Njegova izstopajoča lastnost so nastavljive dimenzije, ki segajo od 1536 do 3072. Nastavitev s 1536 dimenzijami ponuja solidno razmerje med kakovostjo in stroški ter deluje za večino primerov uporabe. Nastavitev s 3072 dimenzijami cilja na največjo kakovost za najbolj zahtevna iskanja. Pravilo je stalno: več dimenzij pomeni boljšo pomensko natančnost, a tudi višje stroške shranjevanja in več izračunov za vsako primerjavo. Za repozitorij srednje velikosti začni pri 1536 in povečaj število le, če se rezultati zdijo nejasni.
Uporaba API-ja
Osnovni klic je videti podobno kot končna točka za klepet: ustvariš odjemalca, posreduješ izsek in dobiš vektor.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
code_snippet = """
def fibonacci(n):
if n <= 1:
return n
return fibonacci(n-1) + fibonacci(n-2)
"""
response = client.embeddings.create(
model="codestral-embed-latest",
inputs=[code_snippet],
)
embedding = response.data[0].embedding
print(f"Dimensions: {len(embedding)}")
print(f"First values: {embedding[:5]}")
Upoštevaj, da je parameter inputs seznam. Ta podrobnost je pomembna: za indeksiranje celotnega repozitorija pošlješ več izsekov v enem samem zahtevku namesto enega zahtevka na datoteko. Pri pravem repozitoriju se ta razlika sešteje v prihranjene minute.
code_snippets = [
"def tri_bulle(liste): ...",
"def tri_rapide(liste): ...",
"def tri_fusion(liste): ...",
"def recherche_binaire(liste, cible): ...",
]
response = client.embeddings.create(
model="codestral-embed-latest",
inputs=code_snippets,
)
embeddings = [item.embedding for item in response.data]
Iskanje po pomenu v kodozni bazi
Primarna uporaba izhaja neposredno iz tega: namesto iskanja po ključnih besedah iščeš po namenu. Cevovod ima dva koraka. Najprej enkrat indeksiraš kodozno bazo in vsaki datoteki pripneš vdelavo. Nato pretvoriš poizvedbo v vektor in razvrstiš datoteke glede na kosinusno podobnost, ki je standardni meri bližine med dvema vektorjema.
import numpy as np
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# 1. Index the codebase (do this once)
def index_codebase(files: list[dict]) -> list[dict]:
"""Indexes a list of files with their embeddings."""
contents = [f["content"] for f in files]
response = client.embeddings.create(
model="codestral-embed-latest",
inputs=contents,
)
for i, file in enumerate(files):
file["embedding"] = response.data[i].embedding
return files
# 2. Search by intent
def search_code(query: str, index: list[dict], top_k: int = 5) -> list[dict]:
"""Semantic search in the indexed codebase."""
response = client.embeddings.create(
model="codestral-embed-latest",
inputs=[query],
)
query_vector = np.array(response.data[0].embedding)
# Calculate cosine similarity
results = []
for file in index:
file_vector = np.array(file["embedding"])
similarity = np.dot(query_vector, file_vector) / (
np.linalg.norm(query_vector) * np.linalg.norm(file_vector)
)
results.append({**file, "score": similarity})
results.sort(key=lambda x: x["score"], reverse=True)
return results[:top_k]
# 3. Usage
results = search_code(
"function that validates an email address",
index=my_index
)
Poglej končno poizvedbo: „function that validates an email address”. Ne vsebuje identifikatorjev projekta, imen datotek niti ključnih besed kode. To je celotna razlika v primerjavi z iskanjem besedila in orodje naredi uporabno tudi za nekoga, ki je nov v repozitoriju.
Napredni primeri uporabe
Najmočnejša kombinacija povezuje Codestral Embed s Codestralom ali splošnim modelom, kot je Mistral Small 4. To je vzorec RAG (Retrieval-Augmented Generation), uporabljen za kodo. Najprej pridobiš ustrezne datoteke, jih vstaviš v sistemsko sporočilo in nato postaviš svoje vprašanje. Model nato odgovori na podlagi tvoje kodozne baze, ne le na podlagi svojega splošnega znanja o jeziku.
# 1. Find relevant files with Codestral Embed
results = search_code("HTTP error handling", index)
# 2. Build context
context = "\n\n".join([r["content"] for r in results[:3]])
# 3. Generate a response with Codestral
response = client.chat.complete(
model="codestral-latest",
messages=[
{"role": "system", "content": f"Here is the relevant code from the project:\n{context}"},
{"role": "user", "content": "How can I improve HTTP error handling in this project?"}
],
)
Isti indeks služi manj bleščeči, a izjemno vredni nalogi: odkrivanju podvojene kode. S primerjavo vsakega para funkcij in označevanjem tistih s podobnostjo nad določenim pragom dobiš seznam kandidatov za refaktoriranje, ki jih nihče v ekipi ni opazil.
# Compare every pair of functions
for i, func_a in enumerate(functions):
for j, func_b in enumerate(functions):
if i >= j:
continue
similarity = cosine(func_a["embedding"], func_b["embedding"])
if similarity > 0.90:
print(f"Potential duplication: {func_a['name']} <-> {func_b['name']}")
Prag 0,90 moraš prilagoditi svoji kodi, preden potegneš zaključke. Če ga nastaviš prenizko, bo označil funkcije, ki so si podobne, a delajo različne stvari. Če ga nastaviš previsoko, bo zajel le dobesedne kopije – tiste, ki bi jih tako ali tako našel sam.
Ključne ugotovitve
- Codestral Embed (v25.05) pretvori kodo v vektorje za iskanje po pomenu
- Podpira od 1536 do 3072 dimenzij, odvisno od tvojih potreb po natančnosti
- Iskanje po pomenu ti omogoča iskanje po namenu, ne po ključnih besedah
- Vzorec RAG (pridobivanje + generiranje) je najmočnejši primer uporabe
- Vdelave omogočajo tudi odkrivanje podvojitev in združevanje kode v grozde