Semantinė kodo paieška
Šiame puslapyje
Kodo paieška pagal prasmę
Tradicinė kodo paieška remiasi raktažodžiais: įvedi funkcijos pavadinimą arba žodį iš komentaro. Semantinė kodo paieška eina dar toliau: ji randa kodą pagal jo prasmę arba ketinimą, net jei tikslūs terminai nesutampa.
Naudodamas „codestral-embed“, gali ieškoti kodo naudodamas natūralią kalbą. Užklausa „funkcija, kuri rūšiuoja sąrašą“ ras quicksort implementaciją, net jei žodis „sort“ kode niekada nepasirodo. Tai atspindi kasdienę programuotojo, prisijungiančio prie esamo projekto, realybę: žinai, ko ieškai, bet neturi nė menkiausio supratimo, kaip ankstesnė komanda tai pavadino.
Kodo katalogo indeksavimas
Pirmasis žingsnis – išgauti ir užkoduoti kiekvieną projekto failą arba funkciją. Toliau pateikta funkcija pereina per katalogų medį ir atfiltruoja aplankus, kurie tik užterštų indeksą. Vien tik node_modules gali būti dešimt kartų didesnis už tavo parašytą kodą, ir nė vienas jo failas nėra svarbus tavo paieškai.
import os
import numpy as np
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
def extract_code_files(directory, extensions=(".py", ".js", ".ts")):
"""Extract all code files from a directory."""
code_files = []
for root, dirs, files in os.walk(directory):
# Ignore irrelevant directories
dirs[:] = [d for d in dirs if d not in ("node_modules", ".git", "__pycache__", "venv")]
for f in files:
if any(f.endswith(ext) for ext in extensions):
filepath = os.path.join(root, f)
with open(filepath, "r", encoding="utf-8", errors="ignore") as fh:
content = fh.read()
if content.strip():
code_files.append({
"path": filepath,
"content": content[:4000], # Truncate if too long
})
return code_files
# Extract files
code_files = extract_code_files("./my-project/")
print(f"{len(code_files)} code files found")
Dvi įgyvendinimo detalės nusipelno dėmesio. dirs[:] modifikavimas vietoje yra ne tik trumpinys; tai vienintelis būdas neleisti os.walk leistis į tuos katalogus. Priskyrimas kintamajam be pjovimo operacijos ([:]) neturėtų jokio poveikio. Kalbant apie apkarpymą ties 4000 simbolių riba, tai apsaugo tave nuo monstrinių failų, kurie sugadintų užklausą, kartu išlaikant failo antraštę – importus, pagrindinius apibrėžimus – kuri neša svarbiausią signalą.
Kodavimas ir indeksavimas
Kodavimas vyksta dvidešimties failų grupėmis, rodant eigą. Saugykloje, kurioje yra kelios šimtai failų, ši ciklo dalis trunka kelias minutes. Be skaitliuko, neturėtum kaip atskirti lėto apdorojimo nuo užstrigusio kvietimo.
def index_code_files(code_files, batch_size=20):
"""Create embeddings for all code files."""
all_embeddings = []
for i in range(0, len(code_files), batch_size):
batch = code_files[i:i + batch_size]
inputs = [f["content"] for f in batch]
response = client.embeddings.create(
model="codestral-embed",
inputs=inputs,
)
all_embeddings.extend([d.embedding for d in response.data])
print(f"Encoded {min(i + batch_size, len(code_files))}/{len(code_files)}")
return np.array(all_embeddings)
embeddings = index_code_files(code_files)
print(f"Index: {embeddings.shape}")
Embeddingų eilės tvarka matricoje tiksliai atitinka code_files eilės tvarką. Ši numanoma atitiktis yra visko, kas seka, ašis: ji leidžia reitingo grąžintam indeksui nukreipti į konkretų failo kelią.
Paieška natūralia kalba
Didžiausias „codestral-embed“ privalumas – galimybė ieškoti naudojant klausimą prancūzų arba anglų kalba. Funkcija užkoduoja užklausą tuo pačiu modeliu, apskaičiuoja panašumus su visu indeksu ir grąžina top_k geriausių rezultatų kartu su turinio peržiūra.
from sklearn.metrics.pairwise import cosine_similarity
def search_code(query, code_files, embeddings, top_k=5):
"""Search for code using natural language descriptions."""
# Encode the query
response = client.embeddings.create(
model="codestral-embed",
inputs=[query],
)
query_emb = np.array(response.data[0].embedding)
# Calculate similarities
sims = cosine_similarity([query_emb], embeddings)[0]
# Top-k results
top_indices = np.argsort(sims)[::-1][:top_k]
results = []
for idx in top_indices:
results.append({
"path": code_files[idx]["path"],
"score": float(sims[idx]),
"preview": code_files[idx]["content"][:200],
})
return results
# Natural language searches
queries = [
"email validation function",
"database connection",
"HTTP error handling",
"sorting algorithm",
]
for query in queries:
print(f"\n--- Query: '{query}' ---")
results = search_code(query, code_files, embeddings, top_k=3)
for r in results:
print(f" [{r['score']:.3f}] {r['path']}")
Laukas preview turi tiesioginę praktinę naudą: jis sutaupo tau laiko, nereikalingo atidarant penkis failus norint suprasti, kuris iš jų tikrai atitinka užklausą. Integruojant į redaktorių, šie du šimtai simbolių tampa peržiūros eilute, rodoma po kiekvienu rezultatu.
Paieška skirtingomis kalbomis
„codestral-embed“ supranta logiką nepriklausomai nuo kalbos. Gali ieškoti Python šablono ir rasti jo ekvivalentą JavaScript kalba:
# Search using a code example in one language...
query_python = "def authenticate(username, password): check credentials and return token"
# ...and find the equivalent in another language
results = search_code(query_python, code_files, embeddings)
# May return a .js file with a similar function
Ši galimybė yra neįkainojama programoms, padalytoms tarp Python „backend“ ir TypeScript „frontend“, kur tas pats verslo taisyklės kartais įgyvendinama abiejose pusėse. Abiejų implementacijų radimas iš vienos užklausos padeda pastebėti neatitikimus dar prieš tai, kai klaida pasireikštų gamyboje.
Paieška pagal funkcijos parašą
Taip pat gali ieškoti pagal numatomą formą, o ne funkcinę sritį. Struktūros aprašymas – asinchroninė funkcija, klasė, tarpinė programinė įranga (middleware), testas – nukreipia paiešką link kodo objekto tipo, o ne temos.
technical_queries = [
"async function that fetches data from API and handles errors",
"class with CRUD methods for database operations",
"middleware that checks authentication token",
"unit test for user registration",
]
for q in technical_queries:
results = search_code(q, code_files, embeddings, top_k=2)
print(f"\n{q}:")
for r in results:
print(f" -> {r['path']} (score: {r['score']:.3f})")
Prieš judėdamas toliau, išbandyk šias keturias užklausas savo saugykloje. Pastebėsi, kad rezultatai labai prastėja labai ilgiems failams, kur 4000 simbolių apkarpymas nukirto naudingąją dalį. Tai tas momentas, kai reikia nuspręsti, ar indeksuoti visus failus, ar, dar geriau, funkcijas, suskaidytas po vieną.
Svarbiausi punktai
- „codestral-embed“ leidžia ieškoti kodo naudojant aprašymus natūralia kalba
- Indeksavimas apima visų kodo failų kodavimą į vektorius
- Veikia paieška skirtingomis kalbomis: Python šablonas randa JS ekvivalentą
- Išgavimo metu atfiltruok nereikalingus katalogus („node_modules“, „.git“, „venv“)
- Apkarpyk labai ilgus failus, kad tilptum į modelio ribas