Περίπτωση χρήσης: Ενσωματώσεις Κώδικα
Σε αυτήν τη σελίδα
Πέρα από την Αναζήτηση
Οι ενσωματώσεις κώδικα (code embeddings) δεν χρησιμεύουν μόνο για σημασιολογική αναζήτηση. Ανοίγουν τον δρόμο για προηγμένες εφαρμογές: αναλυτικά στοιχεία αποθετηρίου, συσταδοποίηση, ανίχνευση διπλοτύπων και βοηθοί ανάπτυξης. Σε αυτό το μάθημα, θα εξερευνήσετε αυτές τις περιπτώσεις χρήσης με συγκεκριμένο κώδικα Python.
Αυτές οι τέσσερις περιπτώσεις χρήσης έχουν ένα κοινό χαρακτηριστικό: αξιοποιούν τη γεωμετρία του ευρετηρίου αντί για ένα ερώτημα. Μόλις τα αρχεία σας τοποθετηθούν στον διανυσματικό χώρο, οι σχετικές τους θέσεις αφηγούνται μια ιστορία για το ίδιο το έργο: τι μοιάζει με τι, τι επαναλαμβάνεται και τι ξεχωρίζει.
Αναλυτικά Στοιχεία Αποθετηρίου
Αναλύστε τη σημασιολογική δομή ενός έργου για να κατανοήσετε πώς είναι οργανωμένος ο κώδικας. Το K-Means ομαδοποιεί τα αρχεία σε πέντε οικογένειες με βάση την εγγύτητα των διανυσμάτων τους, χωρίς ποτέ να εξετάζει το δέντρο των φακέλων. Το αποτέλεσμα είναι συχνά διαφωτιστικό: σε ένα ακατάστατο έργο, θα δείτε αρχεία από πολύ διαφορετικούς καταλόγους να καταλήγουν στην ίδια συστάδα επειδή στην πραγματικότητα ασχολούνται με το ίδιο θέμα.
import numpy as np
from sklearn.cluster import KMeans
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
def analyze_repo(code_files, n_clusters=5):
"""Analyze the semantic structure of a repository."""
# Encode all files
inputs = [f["content"][:3000] for f in code_files]
response = client.embeddings.create(
model="codestral-embed",
inputs=inputs,
)
embeddings = np.array([d.embedding for d in response.data])
# K-Means Clustering
kmeans = KMeans(n_clusters=n_clusters, random_state=42, n_init=10)
labels = kmeans.fit_predict(embeddings)
# Group files by cluster
clusters = {}
for i, label in enumerate(labels):
if label not in clusters:
clusters[label] = []
clusters[label].append(code_files[i]["path"])
return clusters
# Usage
clusters = analyze_repo(code_files, n_clusters=5)
for cluster_id, files in clusters.items():
print(f"\nCluster {cluster_id} ({len(files)} files):")
for f in files[:5]:
print(f" - {f}")
Η παράμετρος random_state=42 καθορίζει την αρχικοποίηση: χωρίς αυτήν, δύο διαδοχικές εκτελέσεις θα παρήγαγαν διαφορετικούς αριθμούς συστάδων, καθιστώντας αδύνατη τη σύγκριση αναλύσεων με την πάροδο του χρόνου.
Ανίχνευση Διπλοτύπων
Εντοπίστε διπλότυπο ή σχεδόν διπλότυπο κώδικα στη βάση σας. Σε αντίθεση με ένα κλασικό εργαλείο ανίχνευσης που συγκρίνει κείμενο, αυτή η προσέγγιση εντοπίζει επίσης επαναγραφόμενα διπλότυπα—το αρχείο που αντιγράφηκε από ένα module σε άλλο, μετονομάστηκε, με διαφορετικές μεταβλητές αλλά την ίδια λογική.
from sklearn.metrics.pairwise import cosine_similarity
def find_duplicates(code_files, embeddings, threshold=0.95):
"""Find pairs of near-identical files."""
sim_matrix = cosine_similarity(embeddings)
duplicates = []
for i in range(len(code_files)):
for j in range(i + 1, len(code_files)):
if sim_matrix[i][j] >= threshold:
duplicates.append({
"file_a": code_files[i]["path"],
"file_b": code_files[j]["path"],
"similarity": float(sim_matrix[i][j]),
})
# Sort by decreasing similarity
duplicates.sort(key=lambda x: x["similarity"], reverse=True)
return duplicates
# Find duplicates
dupes = find_duplicates(code_files, embeddings, threshold=0.92)
print(f"{len(dupes)} potential duplicate pairs found:")
for d in dupes[:10]:
print(f" {d['similarity']:.3f} : {d['file_a']} <-> {d['file_b']}")
Ο εσωτερικός βρόχος ξεκινά από το i + 1 για να συγκρίνει κάθε ζεύγος μόνο μία φορά. Προσέξτε όμως το κόστος: ο πίνακας ομοιότητας είναι τετραγωνικός και πέρα από μερικά χιλιάδες αρχεία θα χρειαστεί να μεταβείτε σε ένα κατά προσέγγιση ευρετήριο αντί για εξαντλητικό υπολογισμό. Η μείωση του ορίου από 0,95 σε 0,92 διευρύνει το δίχτυ για επεξεργασμένα διπλότυπα, με κόστος μερικά ψευδώς θετικά αποτελέσματα που πρέπει να ταξινομηθούν χειροκίνητα.
Συσταδοποίηση κατά Λειτουργικότητα
Το K-Means απαιτεί να γνωρίζετε εκ των προτέρων τον αριθμό των ομάδων, κάτι που σπάνια συμβαίνει όταν ανακαλύπτετε ένα έργο. Το DBSCAN αντιμετωπίζει αυτόν τον περιορισμό: καθορίζει μόνο του τον αριθμό των ομάδων και, το σημαντικότερο, επιτρέπει σε ένα αρχείο να μην ανήκει σε καμία—αυτό είναι το νόημα της ετικέτας «Unclassified» στον παρακάτω κώδικα.
from sklearn.cluster import DBSCAN
def cluster_by_functionality(code_files, embeddings, eps=0.3, min_samples=2):
"""Group code by functionality using DBSCAN."""
# DBSCAN on cosine distances
distance_matrix = 1 - cosine_similarity(embeddings)
clustering = DBSCAN(eps=eps, min_samples=min_samples, metric="precomputed")
labels = clustering.fit_predict(distance_matrix)
# Organize by cluster
groups = {}
for i, label in enumerate(labels):
group_name = f"Group {label}" if label >= 0 else "Unclassified"
if group_name not in groups:
groups[group_name] = []
groups[group_name].append(code_files[i]["path"])
return groups
groups = cluster_by_functionality(code_files, embeddings)
for name, files in groups.items():
print(f"\n{name} ({len(files)} files):")
for f in files[:3]:
print(f" - {f}")
Η μετατροπή μέσω 1 - cosine_similarity μετατρέπει την ομοιότητα σε απόσταση, τη μορφή που αναμένει το DBSCAN με metric="precomputed". Η παράμετρος eps=0.3 σημαίνει επομένως ότι δύο αρχεία είναι γείτονες ξεκινώντας από μια συνημιτονοειδή ομοιότητα 0,7.
Συμφραζόμενος Βοηθός Κώδικα
Αυτό το τελικό παράδειγμα συναρμολογεί τα προηγούμενα δομικά στοιχεία σε ένα πραγματικό σύστημα RAG για κώδικα: αναζήτηση σχετικών αρχείων, δημιουργία συμφραζόμενου και στη συνέχεια κλήση του LLM. Το όριο 0,5 φιλτράρει εκ των προτέρων—είναι καλύτερο να δώσετε στο μοντέλο δύο αρχεία πραγματικά σχετικά με την ερώτηση παρά τρία, εκ των οποίων το ένα είναι εκτός θέματος και θα το παραπλανήσει.
def code_assistant(question, code_files, embeddings, top_k=3):
"""Find relevant code to answer a question."""
# Encode the question
response = client.embeddings.create(
model="codestral-embed",
inputs=[question],
)
query_emb = np.array(response.data[0].embedding)
# Find the most relevant code
sims = cosine_similarity([query_emb], embeddings)[0]
top_indices = np.argsort(sims)[::-1][:top_k]
context_parts = []
for idx in top_indices:
if sims[idx] > 0.5: # Minimum threshold
context_parts.append(
f"# File: {code_files[idx]['path']}\n"
f"{code_files[idx]['content'][:1500]}"
)
context = "\n\n---\n\n".join(context_parts)
# Build the prompt for the LLM
prompt = f"""Here is relevant code from our project:
{context}
Developer question: {question}
Answer based on the code above."""
# Call the LLM with context
chat_response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": prompt}],
)
return chat_response.choices[0].message.content
# Usage
answer = code_assistant(
"How does authentication work in this project?",
code_files,
embeddings,
)
print(answer)
Η διαδρομή του αρχείου εισάγεται ως σχόλιο πάνω από κάθε απόσπασμα. Αυτό δεν είναι διακοσμητικό: το μοντέλο το χρησιμοποιεί για να παραθέσει τις πηγές του και ο προγραμματιστής που διαβάζει την απάντηση γνωρίζει αμέσως πού να πάει για επαλήθευση.
Μετρικές Ποιότητας Κώδικα
Τέλος, οι ενσωματώσεις βοηθούν στον εντοπισμό αυτού που ξεχωρίζει ως ασυνήθιστο. Η συνάρτηση υπολογίζει το κεντροειδές του ευρετηρίου—το «μέσο αρχείο» του έργου—και στη συνέχεια μετρά πόσο αποκλίνει το καθένα. Ένα z-score μεγαλύτερο από 2 σηματοδοτεί ένα αρχείο που δεν μοιάζει με τίποτα άλλο: μερικές φορές ένα κομμάτι κώδικα που δημιουργήθηκε ή αντιγράφηκε από έξω, μερικές φορές απλώς το μοναδικό αρχείο γραμμένο σε παλιό στυλ. Και στις δύο περιπτώσεις, είναι καλός υποψήφιος για αναθεώρηση.
def detect_outliers(code_files, embeddings, threshold=2.0):
"""Detect atypical code files."""
# Calculate the centroid (mean vector)
centroid = embeddings.mean(axis=0)
# Distance of each file to the centroid
distances = np.linalg.norm(embeddings - centroid, axis=1)
# Files beyond N standard deviations
mean_dist = distances.mean()
std_dist = distances.std()
outliers = []
for i, dist in enumerate(distances):
z_score = (dist - mean_dist) / std_dist
if z_score > threshold:
outliers.append({
"path": code_files[i]["path"],
"z_score": float(z_score),
})
outliers.sort(key=lambda x: x["z_score"], reverse=True)
return outliers
outliers = detect_outliers(code_files, embeddings)
print(f"{len(outliers)} atypical files:")
for o in outliers:
print(f" z={o['z_score']:.2f} : {o['path']}")
Θυμηθείτε ότι το «άτυπο» δεν σημαίνει «κακό». Το εργαλείο σας δίνει μια λίστα αρχείων για να εξετάσετε, όχι μια ετυμηγορία: είναι ένα σημείο εκκίνησης για ανθρώπινη αναθεώρηση, ποτέ μια μετρική για εμφάνιση σε πίνακα ελέγχου ποιότητας.
Βασικά σημεία
- Οι ενσωματώσεις κώδικα επιτρέπουν την αυτόματη συσταδοποίηση κατά λειτουργικότητα
- Η ανίχνευση διπλοτύπων χρησιμοποιεί ένα κατώφλι συνημιτονοειδούς ομοιότητας (0,92–0,95)
- Ένας βοηθός κώδικα συνδυάζει τη σημασιολογική αναζήτηση με ένα LLM για code RAG
- Τα άτυπα αρχεία (ακραίες τιμές) μπορούν να σηματοδοτήσουν κώδικα που χρειάζεται αναθεώρηση
- Το DBSCAN είναι προτιμότερο από το K-Means όταν ο αριθμός των ομάδων είναι άγνωστος