Semantiline koodiotsing
Sellel lehel
Koodi otsimine tähenduse järgi
Traditsiooniline koodiotsing tugineb märksõnadele: sisestad funktsiooni nime või sõna kommentaarist. Semantiline koodiotsing läheb kaugemale: see leiab koodi selle tähenduse või kavatsuse põhjal, isegi kui täpsed terminid ei kattu.
Kasutades codestral-embed, saad otsida koodi loomulikus keeles. Päring nagu „funktsioon, mis sorteerib loendi“ leiab quicksort teostuse isegi siis, kui sõna „sort“ koodis üldse ei esine. See peegeldab arendaja igapäevast reaalsust, kes liitub olemasoleva projektiga: tead, mida otsid, kuid sul pole aimugi, kuidas eelmine meeskond selle nimetas.
Koodikataloogi indekseerimine
Esimene samm on projekti iga faili või funktsiooni ekstraheerimine ja kodeerimine. Allpool olev funktsioon läbib kataloogipuu ja filtreerib välja kaustad, mis indeksi ainult segaksid. Ainuüksi node_modules võib olla kümme korda suurem kui sinu tegelikult kirjutatud kood ja ükski selle failidest pole sinu otsingu jaoks asjakohane.
import os
import numpy as np
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
def extract_code_files(directory, extensions=(".py", ".js", ".ts")):
"""Extract all code files from a directory."""
code_files = []
for root, dirs, files in os.walk(directory):
# Ignore irrelevant directories
dirs[:] = [d for d in dirs if d not in ("node_modules", ".git", "__pycache__", "venv")]
for f in files:
if any(f.endswith(ext) for ext in extensions):
filepath = os.path.join(root, f)
with open(filepath, "r", encoding="utf-8", errors="ignore") as fh:
content = fh.read()
if content.strip():
code_files.append({
"path": filepath,
"content": content[:4000], # Truncate if too long
})
return code_files
# Extract files
code_files = extract_code_files("./my-project/")
print(f"{len(code_files)} code files found")
Kaks teostusdetaili väärivad tähelepanu. dirs[:] muutmine kohapeal ei ole pelgalt lühivorm; see on ainus viis takistada os.walk-il nendes kataloogides süvenemast. Muutuja ümbermääramine ilma viilutamiseta ei annaks mingit tulemust. Mis puutub kärpimisse 4000 märgini, siis see kaitseb sind hiiglaslike failide eest, mis päringu nurja ajaks, säilitades samalikus faili päise – impordid, peamised definitsioonid –, mis kannab kõige olulisemat signaali.
Kodeerimine ja indekseerimine
Kodeerimine toimub kahekümne faili kaupa, koos edenemise näitamisega. Mitmesaja failiga hoidlas jookseb see tsükkel mitu minutit. Ilma loendurita pole sul võimalust eristada aeglast töötlemist kinni jäänud väljakutsest.
def index_code_files(code_files, batch_size=20):
"""Create embeddings for all code files."""
all_embeddings = []
for i in range(0, len(code_files), batch_size):
batch = code_files[i:i + batch_size]
inputs = [f["content"] for f in batch]
response = client.embeddings.create(
model="codestral-embed",
inputs=inputs,
)
all_embeddings.extend([d.embedding for d in response.data])
print(f"Encoded {min(i + batch_size, len(code_files))}/{len(code_files)}")
return np.array(all_embeddings)
embeddings = index_code_files(code_files)
print(f"Index: {embeddings.shape}")
Maatriksi manuste järjekord vastab täpselt code_files järjekorrale. See vaikimisi vastavus on kõige järgneva pöördepunkt: see võimaldab järjestuse tagastatud indeksil viidata konkreetsele failiteele.
Otsing loomulikus keeles
codestral-embed peamine eelis on võimalus otsida küsimuse abil prantsuse või inglise keeles. Funktsioon kodeerib päringu sama mudeliga, arvutab sarnasused kogu indeksiga ja tagastab top_k parimat tulemust koos sisu eelvaatega.
from sklearn.metrics.pairwise import cosine_similarity
def search_code(query, code_files, embeddings, top_k=5):
"""Search for code using natural language descriptions."""
# Encode the query
response = client.embeddings.create(
model="codestral-embed",
inputs=[query],
)
query_emb = np.array(response.data[0].embedding)
# Calculate similarities
sims = cosine_similarity([query_emb], embeddings)[0]
# Top-k results
top_indices = np.argsort(sims)[::-1][:top_k]
results = []
for idx in top_indices:
results.append({
"path": code_files[idx]["path"],
"score": float(sims[idx]),
"preview": code_files[idx]["content"][:200],
})
return results
# Natural language searches
queries = [
"email validation function",
"database connection",
"HTTP error handling",
"sorting algorithm",
]
for query in queries:
print(f"\n--- Query: '{query}' ---")
results = search_code(query, code_files, embeddings, top_k=3)
for r in results:
print(f" [{r['score']:.3f}] {r['path']}")
Väli preview on vahetu praktilise kasutusega: see säästab sind viie faili avamisest, et aru saada, milline neist tegelikult sobib. Redaktori integratsioonis muutuvad need kakssada märki iga tulemuse all kuvatavaks eelvaatereaks.
Keelteülene otsing
codestral-embed mõistab loogikat sõltumata keelest. Saad otsida Pythoni mustrit ja leida selle vaste JavaScriptis:
# Search using a code example in one language...
query_python = "def authenticate(username, password): check credentials and return token"
# ...and find the equivalent in another language
results = search_code(query_python, code_files, embeddings)
# May return a .js file with a similar function
See võimekus on hindamatu rakenduste jaoks, mis on jagatud Pythoni taustasüsteemi ja TypeScripti kasutajaliidese vahel, kus sama ärireegel on mõnikord teostatud mõlemal pool. Mõlema teostuse leidmine ühe päringuga aitab tuvastada lahknevusi enne, kui viga need tootmises paljastab.
Otsing funktsiooni signatuuri järgi
Saad otsida ka oodatava vormi, mitte funktsionaalse domeeni järgi. Struktuuri kirjeldamine – asünkroonne funktsioon, klass, vahevara, test – suunab otsingu koodiobjekti tüübi, mitte teema poole.
technical_queries = [
"async function that fetches data from API and handles errors",
"class with CRUD methods for database operations",
"middleware that checks authentication token",
"unit test for user registration",
]
for q in technical_queries:
results = search_code(q, code_files, embeddings, top_k=2)
print(f"\n{q}:")
for r in results:
print(f" -> {r['path']} (score: {r['score']:.3f})")
Proovi neid nelja päringut oma hoidlas enne edasiliikumist. Märkad, et tulemused halvenevad oluliselt väga pikkade failide puhul, kus 4000 märgi kärpimine lõikas ära kasuliku osa. See on hetk otsustada, kas indekseerida terved failid või, veel parem, funktsioonid ükshaaval lagundatuna.
Peamised punktid
- codestral-embed võimaldab otsida koodi loomuliku keele kirjelduste abil
- Indekseerimine hõlmab kõigi koodifailide kodeerimist vektoriteks
- Keelteülene otsing toimib: Pythoni muster leiab JS-vaste
- Filtreeri välja ebaolulised kataloogid (node_modules, .git, venv) ekstraheerimise ajal
- Kärpi väga pikad failid, et jääda mudeli piiridesse