Codestral Embed : kodų įterpiniai
Šiame puslapyje
Codestral Embed: semantinė kodų paieška
Kodo generavimo ir užbaigimo nepakanka. Tau taip pat reikia rasti failą šimtų failų saugykloje, kuris jau išsprendžia tavo problemą. Būtent tai ir daro trečiasis specializuotas „Mistral AI“ įrankis: Codestral Embed (v25.05). Šis įterpinių modelis paverčia kodo fragmentus skaitiniais vektoriais, leisdamas atlikti semantinę paiešką visoje saugykloje.
Kas yra kodo įterpinys?
Įterpinys yra tankus teksto arba kodo fragmento vektorinis atvaizdavimas. Pagrindinė savybė paprasta: du semantiškai panašūs fragmentai sukuria vektorius, kurie vektoriaus erdvėje yra arti vienas kito, net jei jų sintaksė visiškai skiriasi. Pažvelk į šias dvi funkcijas. Jos turi skirtingus pavadinimus, skirtingus kintamųjų pavadinimus ir skirtingas implementacijas.
# Function 1
def calculer_moyenne(nombres):
return sum(nombres) / len(nombres)
# Function 2
def average(values):
total = 0
for v in values:
total += v
return total / len(values)
grep paieška niekada nerastų antrosios funkcijos, pradėjus nuo pirmosios. Tačiau „Codestral Embed“ abiem atvejais sugeneruoja artimus vektorius, nes jos sprendžia tą pačią problemą.
Techninės specifikacijos
Modelio ID yra codestral-embed-latest (v25.05). Jį kvieti per /v1/embeddings galinį tašką. Jis apdoroja visų „Codestral“ palaikomų kalbų šaltinio kodą. Išskirtinė jo savybė – konfigūruojami matmenys, svyruojantys nuo 1536 iki 3072. 1536 matmenų nustatymas užtikrina gerą kokybės ir kainos santykį bei tinka daugeliui naudojimo atvejų. 3072 matmenų nustatymas skirtas maksimaliai kokybei pasiekti sudėtingiausiose paieškose. Taisyklė pastovi: daugiau matmenų reiškia geresnį semantinį tikslumą, bet taip pat didesnes saugojimo išlaidas ir daugiau skaičiavimų kiekvienam palyginimui. Vidutinio dydžio saugyklai pradėk nuo 1536 ir didink tik tada, jei rezultatai atrodo neaiškūs.
API naudojimas
Pagrindinis kvietimas atrodo taip pat, kaip ir pokalbių galinis taškas: inicializuok klientą, perduok fragmentą ir gauk vektorių.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
code_snippet = """
def fibonacci(n):
if n <= 1:
return n
return fibonacci(n-1) + fibonacci(n-2)
"""
response = client.embeddings.create(
model="codestral-embed-latest",
inputs=[code_snippet],
)
embedding = response.data[0].embedding
print(f"Dimensions: {len(embedding)}")
print(f"First values: {embedding[:5]}")
Atkreipk dėmesį, kad parametras inputs yra sąrašas. Ši detalė svarbi: norėdamas indeksuoti visą saugyklą, viename užklausoje siunti kelis fragmentus, o ne po vieną užklausą kiekvienam failui. Realioje saugykloje šis skirtumas sutaupo minutes.
code_snippets = [
"def tri_bulle(liste): ...",
"def tri_rapide(liste): ...",
"def tri_fusion(liste): ...",
"def recherche_binaire(liste, cible): ...",
]
response = client.embeddings.create(
model="codestral-embed-latest",
inputs=code_snippets,
)
embeddings = [item.embedding for item in response.data]
Semantinė paieška kodekse
Pagrindinis naudojimo atvejis išplaukia tiesiai iš to: vietoj paieškos pagal raktinius žodžius, ieškai pagal ketinimą. Procesą sudaro du žingsniai. Pirma, vieną kartą indeksuok kodeksą, priskirdamas įterpinį kiekvienam failui. Tada paversk užklausą vektoriumi ir surikiuok failus pagal kosinusinį panašumą – standartinį dviejų vektorių artumo matą.
import numpy as np
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# 1. Index the codebase (do this once)
def index_codebase(files: list[dict]) -> list[dict]:
"""Indexes a list of files with their embeddings."""
contents = [f["content"] for f in files]
response = client.embeddings.create(
model="codestral-embed-latest",
inputs=contents,
)
for i, file in enumerate(files):
file["embedding"] = response.data[i].embedding
return files
# 2. Search by intent
def search_code(query: str, index: list[dict], top_k: int = 5) -> list[dict]:
"""Semantic search in the indexed codebase."""
response = client.embeddings.create(
model="codestral-embed-latest",
inputs=[query],
)
query_vector = np.array(response.data[0].embedding)
# Calculate cosine similarity
results = []
for file in index:
file_vector = np.array(file["embedding"])
similarity = np.dot(query_vector, file_vector) / (
np.linalg.norm(query_vector) * np.linalg.norm(file_vector)
)
results.append({**file, "score": similarity})
results.sort(key=lambda x: x["score"], reverse=True)
return results[:top_k]
# 3. Usage
results = search_code(
"function that validates an email address",
index=my_index
)
Pažvelk į galutinę užklausą: „function that validates an email address“. Joje nėra projekto identifikatorių, failų pavadinimų ar kodo raktinių žodžių. Tai ir yra visas skirtumas, palyginti su teksto paieška, ir tai leidžia įrankiu naudotis net tiems, kurie naujai susipažįsta su saugykla.
Pažengę naudojimo atvejai
Galingiausias derinys sujungia „Codestral Embed“ su „Codestral“ arba bendrosios paskirties modeliu, pavyzdžiui, „Mistral Small 4“. Tai yra RAG (gavimo ir generavimo papildymo) šablonas, pritaikytas kodui. Pirmiausia gauni susijusius failus, įterpi juos į sistemos pranešimą ir tada užduodi savo klausimą. Tuomet modelis atsako remdamasis tavo kodeksu, o ne tik bendromis kalbos žiniomis.
# 1. Find relevant files with Codestral Embed
results = search_code("HTTP error handling", index)
# 2. Build context
context = "\n\n".join([r["content"] for r in results[:3]])
# 3. Generate a response with Codestral
response = client.chat.complete(
model="codestral-latest",
messages=[
{"role": "system", "content": f"Here is the relevant code from the project:\n{context}"},
{"role": "user", "content": "How can I improve HTTP error handling in this project?"}
],
)
Tas pats indeksas tinka mažiau įspūdingai, bet labai vertingai užduočiai: dubliuoto kodo aptikimui. Palyginus kiekvieną funkcijų porą ir pažymėjus tas, kurių panašumas viršija slenkstį, gauni refaktoravimo kandidatų sąrašą, kurio niekas komandoje nepastebėjo.
# Compare every pair of functions
for i, func_a in enumerate(functions):
for j, func_b in enumerate(functions):
if i >= j:
continue
similarity = cosine(func_a["embedding"], func_b["embedding"])
if similarity > 0.90:
print(f"Potential duplication: {func_a['name']} <-> {func_b['name']}")
Prieš darydamas išvadas, turėtum sureguliuoti 0,90 slenkstį pagal savo kodą. Nustačius per žemą slenkstį, bus žymimos funkcijos, kurios atrodo panašiai, bet atlieka skirtingus dalykus. Nustačius per aukštą, bus aptinkamos tik pažodinės kopijos – tokios, kurias būtum radęs ir taip.
Svarbiausi punktai
- „Codestral Embed“ (v25.05) paverčia kodą vektoriais semantinei paieškai
- Jis palaiko nuo 1536 iki 3072 matmenų, priklausomai nuo tavo tikslumo poreikių
- Semantinė paieška leidžia ieškoti pagal ketinimą, o ne pagal raktinius žodžius
- RAG šablonas (gavimas + generavimas) yra galingiausias naudojimo atvejis
- Įterpiniai taip pat leidžia aptikti dublikatus ir klasterizuoti kodą