Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Αξιολόγηση ενός Πράκτορα Κώδικα: SWE-bench και πέρα από αυτό

Μάθημα 7 / 14 Ενημερώθηκε 2 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Μετρήστε έναν Πράκτορα, Όχι μια Συνάρτηση
  2. SWE-bench: Πραγματικά Tickets, Πραγματικά Tests
  3. Ανάγνωση μιας Βαθμολογίας: Το Παράδειγμα του Devstral
  4. Τι δεν σας λέει το SWE-bench
  5. Το Δικό σας Benchmark
  6. Βασικά σημεία

Μάθημα αναθεωρημένο στις 2 Νοεμβρίου 2026. Η προηγούμενη έκδοση περιλάμβανε επίπεδα βαθμολογίας SWE-bench και έναν πίνακα ανταγωνιστών χωρίς πηγές· και τα δύο αφαιρέθηκαν. Τα στοιχεία για το Devstral προέρχονται από την επίσημη ανακοίνωση της Mistral (9 Δεκεμβρίου 2025)· οι μορφές SWE-bench προέρχονται από τον ιστότοπο του benchmark. Το Devstral αφαιρέθηκε από το API στις 31 Ιουλίου 2026: οι βαθμολογίες του χρησιμεύουν εδώ ως παράδειγμα ανάγνωσης αποτελεσμάτων. Πηγές: Devstral 2 και Mistral Vibe CLI (Mistral) · SWE-bench.

Μετρήστε έναν Πράκτορα, Όχι μια Συνάρτηση

Πώς αξιολογείτε αντικειμενικά ένα μοντέλο σχεδιασμένο να λύνει προβλήματα ανάπτυξης λογισμικού; Τα κλασικά benchmarks παραγωγής κώδικα, όπως το HumanEval ή το MBPP, επαληθεύουν εάν ένα μοντέλο μπορεί να γράψει μια μεμονωμένη συνάρτηση βάσει μιας εντολής. Δεν σας λένε όμως αν μπορεί να περιηγηθεί σε ένα αποθετήριο με εκατοντάδες χιλιάδες γραμμές κώδικα και να διορθώσει ένα πραγματικό σφάλμα. Ένα μοντέλο μπορεί να διαπρέπει στο πρώτο καθήκον και να απογοητεύει στο δεύτερο.

Το SWE-bench καλύπτει αυτό το κενό και έχει καταστεί το πρότυπο αναφοράς για τους πράκτορες κώδικα.

SWE-bench: Πραγματικά Tickets, Πραγματικά Tests

Το SWE-bench αξιολογεί μοντέλα σε πραγματικά tickets του GitHub από δημοφιλή αποθετήρια Python. Το πρωτόκολλο αναπαράγει τη ροή εργασίας ενός προγραμματιστή: το μοντέλο λαμβάνει μια περιγραφή σφάλματος ή ένα αίτημα λειτουργίας χωρίς να του υποδεικνύεται πού να κοιτάξει· εξερευνά το αποθετήριο, εντοπίζει το πρόβλημα και προτείνει μια διόρθωση· αυτή η διόρθωση κρίνεται στη συνέχεια αυτόματα από τα ίδια τα tests του έργου—τα ίδια που προστατεύουν τον κώδικα στην παραγωγή.

Το benchmark διατίθεται σε διάφορες μορφές:

ΜορφήΠεριεχόμενο
SWE-bench (Full)2.294 εργασίες συλλεγμένες από 12 δημοφιλή αποθετήρια Python
SWE-bench Lite300 εργασίες επιλεγμένες για τη μείωση του κόστους αξιολόγησης διατηρώντας τη δυσκολία
SWE-bench Verified500 εργασίες φιλτραρισμένες από ανθρώπους, σε συνεργασία με την OpenAI

Ο ιστότοπος του benchmark δημοσιεύει επίσης παραλλαγές Multilingual και Multimodal, χρήσιμες εάν ο κώδικάς σας δεν είναι σε Python ή εάν τα tickets σας περιλαμβάνουν στιγμιότυπα οθόνης.

Ανάγνωση μιας Βαθμολογίας: Το Παράδειγμα του Devstral

Μια βαθμολογία SWE-bench X% σημαίνει ότι ο πράκτορας έλυσε το X% των tickets του συνόλου δοκιμών—δηλαδή, παρήγαγε μια διόρθωση που περνάει τα tests του έργου. Δεν σημαίνει ότι το μοντέλο γράφει καλό κώδικα το X% του χρόνου.

Κατά την κυκλοφορία του στις 9 Δεκεμβρίου 2025, η Mistral ανακοίνωσε 72,2% στο SWE-bench Verified για το Devstral 2 (123 δισεκατομμύρια παράμετροι) και 68,0% για το Devstral Small 2 (24 δισεκατομμύρια). Το χάσμα είναι μικρό σε σχέση με τη διαφορά μεγέθους: αυτό είναι που κατέστησε ενδιαφέρον το Devstral Small 2 και γι’ αυτό η τεκμηρίωση του Vibe το συνιστά ακόμη και σήμερα για τοπική χρήση.

Η ίδια ανακοίνωση illustrates μια ουσιαστική επιφύλαξη. Η Mistral ισχυρίστηκε έως και επταπλάσιο χαμηλότερο κόστος σε σχέση με το Claude Sonnet σε πραγματικές εργασίες, σημειώνοντας παράλληλα ότι οι ανθρώπινοι αξιολογητές προτιμούσαν ακόμη έντονα το Claude Sonnet 4.5 έναντι του Devstral 2. Μια βαθμολογία benchmark, ένα κόστος και μια ανθρώπινη προτίμηση μετρούν τρία διαφορετικά πράγματα· κανένα δεν αντικαθιστά τα άλλα δύο.

Τι δεν σας λέει το SWE-bench

Το SWE-bench δοκιμάζει ένα συγκεκριμένο στυλ εργασίας: τη διόρθωση σφαλμάτων σε έργα Python ανοιχτού κώδικα με υπάρχουσα σουίτα tests. Η καθημερινή σας εργασία σε TypeScript, Java ή σε μια εφαρμογή χωρίς tests μπορεί να μην έχει καμία σχέση με αυτή τη ρύθμιση.

Οι συνθήκες αξιολόγησης έχουν μεγάλο βάρος: ο αριθμός των επιτρεπόμενων προσπαθειών, τα εργαλεία (scaffolding) που παρέχονται στον πράκτορα και τα χρονικά όρια μπορούν να μετατοπίσουν τις βαθμολογίες κατά αρκετές μονάδες. Επομένως, δύο αριθμοί που δημοσιεύονται ξεχωριστά από δύο προμηθευτές με δύο διαφορετικές ρυθμίσεις εργαλείων δεν είναι πάντα συγκρίσιμοι. Προτιμήστε κατατάξεις που αξιολογούν μοντέλα σε ένα κοινό πλαίσιο και διαβάζετε πάντα τη μεθοδολογία πριν από τον αριθμό.

Το μέγεθος έχει επίσης σημασία, και όχι μόνο για τον λογαριασμό: ένα μοντέλο 24 δισεκατομμυρίων παραμέτρων που χωράει σε έναν μόνο GPU είναι usable εκεί όπου ένα πολύ μεγαλύτερο μοντέλο απαιτεί ένα cluster και μια ομάδα για τη συντήρησή του.

Το Δικό σας Benchmark

Η καλύτερη αξιολόγηση είναι αυτή που χτίζετε στο δικό σας αποθετήριο. Πάρτε τρία έως πέντε ήδη λυμένα tickets, μαζί με τη διόρθωση που έγραψε η ομάδα σας και τα αντίστοιχα tests. Ζητήστε από υποψήφια μοντέλα να τα επεξεργαστούν—για παράδειγμα, τα Mistral Small 4 και Large 4 μέσω του API, ή το Vibe Code με το ενσωματωμένο μοντέλο του—και στη συνέχεια συγκρίνετε:

  • Ποσοστό επιτυχίας: Περάσανε τα tests με την προτεινόμενη διόρθωση;
  • Ποιότητα Diff: Είναι ελάχιστο, ευανάγνωστο και σύμφωνο με τις συμβάσεις σας;
  • Κόστος και χρόνος: Tokens που καταναλώθηκαν, διάρκεια συνεδρίας, αριθμός ανθρώπινων παρεμβάσεων.

Καμία δημόσια κατάταξη δεν θα αντικαταστήσει αυτό το τεστ, και μπορείτε να το εκτελέσετε ξανά σε μία ώρα με κάθε νέο μοντέλο.

Βασικά σημεία

  • Το SWE-bench αξιολογεί πράκτορες σε πραγματικά tickets του GitHub, κρινόμενα από τα tests του έργου
  • Τρεις κύριες μορφές: Full (2.294 εργασίες), Lite (300), Verified (500, φιλτραρισμένες από ανθρώπους)
  • Τα Devstral 2 και Devstral Small 2 ανακοίνωσαν 72,2% και 68,0% στο SWE-bench Verified
  • Η βαθμολογία, το κόστος και η ανθρώπινη προτίμηση μετρούν διαφορετικά πράγματα· τα εργαλεία αξιολόγησης αλλάζουν τους αριθμούς
  • Η καθοριστική δοκιμή εκτελείται στα δικά σας λυμένα tickets