Семантично търсене на код
На тази страница
Търсене на код по смисъл
Традиционното търсене на код разчита на ключови думи: въвеждате име на функция или дума от коментар. Семантичното търсене на код отива по-далеч: то открива код въз основа на неговия смисъл или намерение, дори ако точните термини не съвпадат.
С codestral-embed можете да търсите код, използвайки естествен език. Заявка като „функция, която сортира списък“ ще открие имплементация на quicksort, дори думата „sort“ да не се появява никога в кода. Това отразява ежедневната реалност на разработчик, който се присъединява към съществуващ проект: знаете какво търсите, но нямате представа как предишният екип го е именувал.
Индексиране на директория с код
Първата стъпка е да извлечете и кодирате всеки файл или функция в проекта. Функцията по-долу обхожда дървовидната структура на директорията и филтрира папките, които биха замърсили индекса. Само node_modules може да бъде десет пъти по-голям от кода, който действително сте написали, и никой от неговите файлове не е релевантен за вашето търсене.
import os
import numpy as np
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
def extract_code_files(directory, extensions=(".py", ".js", ".ts")):
"""Extract all code files from a directory."""
code_files = []
for root, dirs, files in os.walk(directory):
# Ignore irrelevant directories
dirs[:] = [d for d in dirs if d not in ("node_modules", ".git", "__pycache__", "venv")]
for f in files:
if any(f.endswith(ext) for ext in extensions):
filepath = os.path.join(root, f)
with open(filepath, "r", encoding="utf-8", errors="ignore") as fh:
content = fh.read()
if content.strip():
code_files.append({
"path": filepath,
"content": content[:4000], # Truncate if too long
})
return code_files
# Extract files
code_files = extract_code_files("./my-project/")
print(f"{len(code_files)} code files found")
Два детайла от имплементацията заслужават внимание. Модифицирането на dirs[:] на място не е просто съкращение; това е единственият начин да предотвратите навлизането на os.walk в тези директории. Преназначаването на променливата без среза (slicing) няма да има никакъв ефект. Що се отнася до съкращаването на 4000 знака, това Ви предпазва от огромни файлове, които биха сринули заявката, като същевременно запазва заглавката на файла – импорти, основни дефиниции – която носи най-значимия сигнал.
Кодиране и индексиране
Кодирането се извършва на партиди от двадесет файла, с индикатор за напредъка. В хранилище с няколкостотин файла този цикъл работи няколко минути. Без брояч нямате начин да различите бавната обработка от заседнала заявка.
def index_code_files(code_files, batch_size=20):
"""Create embeddings for all code files."""
all_embeddings = []
for i in range(0, len(code_files), batch_size):
batch = code_files[i:i + batch_size]
inputs = [f["content"] for f in batch]
response = client.embeddings.create(
model="codestral-embed",
inputs=inputs,
)
all_embeddings.extend([d.embedding for d in response.data])
print(f"Encoded {min(i + batch_size, len(code_files))}/{len(code_files)}")
return np.array(all_embeddings)
embeddings = index_code_files(code_files)
print(f"Index: {embeddings.shape}")
Редът на вгражданията в матрицата точно съответства на реда на code_files. Това неявно съответствие е опорната точка за всичко, което следва: то позволява индекс, върнат от класирането, да сочи към конкретен път до файл.
Търсене на естествен език
Основното предимство на codestral-embed е, че можете да търсите, използвайки въпрос на френски или английски език. Функцията кодира заявката със същия модел, изчислява сходствата спрямо целия индекс и връща top_k най-добри резултати заедно с преглед на съдържанието.
from sklearn.metrics.pairwise import cosine_similarity
def search_code(query, code_files, embeddings, top_k=5):
"""Search for code using natural language descriptions."""
# Encode the query
response = client.embeddings.create(
model="codestral-embed",
inputs=[query],
)
query_emb = np.array(response.data[0].embedding)
# Calculate similarities
sims = cosine_similarity([query_emb], embeddings)[0]
# Top-k results
top_indices = np.argsort(sims)[::-1][:top_k]
results = []
for idx in top_indices:
results.append({
"path": code_files[idx]["path"],
"score": float(sims[idx]),
"preview": code_files[idx]["content"][:200],
})
return results
# Natural language searches
queries = [
"email validation function",
"database connection",
"HTTP error handling",
"sorting algorithm",
]
for query in queries:
print(f"\n--- Query: '{query}' ---")
results = search_code(query, code_files, embeddings, top_k=3)
for r in results:
print(f" [{r['score']:.3f}] {r['path']}")
Полето preview има незабавна практическа полза: то Ви спестява отварянето на пет файла, за да разберете кой всъщност съвпада. При интеграция в редактор тези двеста знака се превръщат в реда за преглед, показван под всеки резултат.
Междуезиково търсене
codestral-embed разбира логиката независимо от езика. Можете да търсите шаблон на Python и да откриете еквивалента в JavaScript:
# Search using a code example in one language...
query_python = "def authenticate(username, password): check credentials and return token"
# ...and find the equivalent in another language
results = search_code(query_python, code_files, embeddings)
# May return a .js file with a similar function
Тази възможност е безценна за приложения, разделени между бекенд на Python и фронтенд на TypeScript, където едно и също бизнес правило понякога се имплементира и от двете страни. Откриването на двете имплементации чрез една единствена заявка Ви помага да откриете разминавания, преди бъг да ги разкрие в продукционна среда.
Търсене по сигнатура на функция
Можете също да търсите по очаквана форма, а не по функционален домейн. Описването на структурата – асинхронна функция, клас, междинен софтуер (middleware), тест – насочва търсенето към тип код обект, а не към тема.
technical_queries = [
"async function that fetches data from API and handles errors",
"class with CRUD methods for database operations",
"middleware that checks authentication token",
"unit test for user registration",
]
for q in technical_queries:
results = search_code(q, code_files, embeddings, top_k=2)
print(f"\n{q}:")
for r in results:
print(f" -> {r['path']} (score: {r['score']:.3f})")
Изпробвайте тези четири заявки във вашето собствено хранилище, преди да продължите. Ще забележите, че резултатите се влошават значително при много дълги файлове, където съкращаването до 4000 знака е отрязало полезната част. Това е моментът да решите дали да индексирате цели файлове или, още по-добре, функции, разбити една по една.
Ключови изводи
codestral-embedВи позволява да търсите код, използвайки описания на естествен език- Индексирането включва кодиране на всички код файлове във вектори
- Междуезиковото търсене работи: шаблон на Python открива еквивалента в JS
- Филтрирайте нерелевантните директории (
node_modules,.git,venv) по време на извличането - Съкращавайте много дългите файлове, за да останете в рамките на лимитите на модела