Fill-In-The-Middle (FIM)
Σε αυτήν τη σελίδα
Η Αρχή του Fill-In-The-Middle
Το Fill-In-The-Middle, ή FIM, αποτελεί την πιο διακριτή ικανότητα του Codestral. Στην τυπική παραγωγή, ένα μοντέλο επεκτείνει το κείμενο από ένα σημείο εκκίνησης χωρίς να λαμβάνει υπόψη τίποτα άλλο. Το FIM αλλάζει τα δεδομένα: σας επιτρέπει να συμπληρώσετε ένα κενό στο μέσο του κώδικα. Παρέχετε την αρχή, που ονομάζεται prompt, και το τέλος, που ονομάζεται suffix, και το Codestral παράγει τον ενδιάμεσο κώδικα που συνδέει καθαρά τα δύο σημεία.
Αυτός ο μηχανισμός λύνει ένα πολύ συγκεκριμένο πρόβλημα στην αυτόματη συμπλήρωση των IDE. Όταν πληκτρολογείτε στη μέση ενός αρχείου, μια σχετική πρόταση εξαρτάται εξίσου από ό,τι ακολουθεί τον κέρσορα όσο και από ό,τι προηγείται αυτού. Μια μέθοδος που εισάγεται μεταξύ δύο άλλων πρέπει να σέβεται το στυλ τους, τις συμβάσεις ονοματοδοσίας και την άτυπη σύμβαση της κλάσης. Ένα μοντέλο που βλέπει μόνο το προηγούμενο πλαίσιο προτείνει πιθανό κώδικα που συχνά επικαλύπτεται με ό,τι υπάρχει ήδη δέκα γραμμές πιο κάτω.
Η λειτουργία ανάγεται σε τρία στοιχεία. Το prompt περιέχει τον κώδικα πριν από το σημείο εισαγωγής—με άλλα λόγια, ό,τι έχετε ήδη γράψει πριν από τον κέρσορα. Το suffix περιέχει τον κώδικα μετά τον κέρσορα. Η συμπλήρωση είναι το απόσπασμα που παράγει το Codestral, το οποίο παρεμβάλλεται μεταξύ των δύο. Το τελικό αποτέλεσμα υπακούει πάντα στην ίδια εξίσωση: prompt + completion + suffix = complete code.
Το Σημείο Τερματισμού /v1/fim/completions
Η Mistral AI εκθέτει το FIM μέσω ενός αφιερωμένου σημείου τερματισμού. Σε αντίθεση με το τυπικό σημείο τερματισμού chat, αυτό δέχεται τις παραμέτρους prompt και suffix αντί για έναν πίνακα μηνυμάτων.
Δομή Αιτήματος
from mistralai.client import Mistral
client = Mistral(api_key="your_api_key")
response = client.fim.complete(
model="codestral-latest",
prompt="def fibonacci(n: int):",
suffix="n = int(input('Enter a number: '))\nprint(fibonacci(n))",
temperature=0,
)
print(response.choices[0].message.content)
Εδώ, το Codestral λαμβάνει την υπογραφή της συνάρτησης fibonacci ως prompt και τον κώδικα κλήσης ως suffix. Ο στόχος του είναι να παράγει το σώμα που μετατρέπει αυτή την υπογραφή σε μια λειτουργική υλοποίηση, γνωρίζοντας ότι η συνάρτηση θα κληθεί με έναν ακέραιο που εισάγεται μέσω πληκτρολογίου και ότι η τιμή επιστροφής της θα εκτυπωθεί ως έχει.
Βασικές Παράμετροι
model— πάντα"codestral-latest"για FIMprompt— ο κώδικας πριν από τον κέρσορα (απαιτείται)suffix— ο κώδικας μετά τον κέρσορα (προαιρετικό αλλά συνιστάται)temperature—0για ντετερμινιστικά αποτελέσματα,0.2-0.7για ποικιλίαmax_tokens— περιορίζει το μήκος της παραγόμενης συμπλήρωσηςstop— λίστα token διακοπής (π.χ.["\n\n"]για διακοπή μετά από ένα μπλοκ)
Πρακτικό Παράδειγμα: Συμπλήρωση μιας Κλάσης Python
Ας εξετάσουμε ένα κοινό σενάριο: γράφετε μια υπηρεσία και λείπει μια μέθοδος στη μέση της κλάσης.
prompt = """class UserService:
def __init__(self, db):
self.db = db
def get_user(self, user_id: int):
"""
suffix = """
def delete_user(self, user_id: int):
return self.db.execute("DELETE FROM users WHERE id = ?", (user_id,))
"""
response = client.fim.complete(
model="codestral-latest",
prompt=prompt,
suffix=suffix,
temperature=0,
max_tokens=200,
)
Το suffix επιτελεί το μεγαλύτερο μέρος του έργου όσον αφορά το πλαίσιο. Βλέποντας το delete_user, το Codestral μαθαίνει τρία πράγματα: η κλάση κάνει ερωτήματα στη βάση δεδομένων μέσω του self.db.execute, χρησιμοποιεί παραμετροποιημένα ερωτήματα με ?, και επιστρέφει το αποτέλεσμα απευθείας χωρίς ενδιάμεσο επίπεδο. Συμπεραίνει ότι το get_user πρέπει να ακολουθεί ακριβώς το ίδιο μοτίβο και παράγει:
return self.db.execute("SELECT * FROM users WHERE id = ?", (user_id,))
Δοκιμάστε ξανά την άσκηση χωρίς το suffix και θα δείτε τη διαφορά. Στερημένο από αυτή την άγκυρα, το μοντέλο θα επινοήσει συχνά ένα ORM ή έναν κέρσορα που δεν υπάρχει πουθενά στο έργο σας.
FIM εναντίον Chat: Επιλογή του Κατάλληλου Εργαλείου
| Κατάσταση | Σημείο Τερματισμού | Γιατί |
|---|---|---|
| Αυτόματη συμπλήρωση σε IDE | FIM | Διαθέσιμο είναι το πλαίσιο ΠΡΙΝ ΚΑΙ ΜΕΤΑ τον κέρσορα |
| Δημιουργία μιας πλήρους συνάρτησης | Chat | Δεν απαιτείται suffix |
| Συμπλήρωση αρχείου διαμόρφωσης | FIM | Η υπάρχουσα μορφή και δομή καθοδηγούν τη συμπλήρωση |
| Επεξήγηση κώδικα | Chat | Εργασία φυσικής γλώσσας, όχι συμπλήρωση |
| Συγγραφή unit tests | Chat ή FIM | FIM αν το αρχείο test υπάρχει ήδη μερικώς |
Μεγιστοποίηση των Οφελών του FIM
Η ποιότητα της συμπλήρωσης εξαρτάται πρωτίστως από το πλαίσιο που παρέχετε. Συμπεριλάβετε τις εισαγωγές (imports), την γονική κλάση και τις γειτονικές συναρτήσεις στο prompt. Αυτά ενημερώνουν το μοντέλο για τις διαθέσιμες βιβλιοθήκες και το στυλ που πρέπει να υιοθετήσει. Το suffix αξίζει ιδιαίτερης προσοχής, διότι χωρίς αυτό, το FIM υποβαθμίζεται σε τυπική παραγωγή και χάνει την αξία του.
Όσον αφορά τις ρυθμίσεις, η αυτόματη συμπλήρωση σε IDE λειτουργεί καλύτερα με temperature=0, ώστε η ίδια κατάσταση να παράγει πάντα την ίδια πρόταση. Ένας προγραμματιστής που βλέπει την πρόταση να αλλάζει με κάθε πάτημα πλήκτρου, τελικά θα την απενεργοποιήσει. Διατηρήστε το max_tokens χαμηλά, μεταξύ 50 και 200, καθώς συμπληρώνετε μια γραμμή ή ένα μπλοκ, όχι ολόκληρη μια ενότητα. Τέλος, τα token διακοπής αποτρέπουν την υπερχείλιση: το stop=["\n\n"] διακόπτει τη δημιουργία στο τέλος του τρέχοντος μπλοκ, αντί να επιτρέπει στο μοντέλο να ξαναγράψει το μισό αρχείο.
Βασικά σημεία
- Το FIM συμπληρώνει κώδικα μεταξύ ενός prompt (πριν) και ενός suffix (μετά)
- Το αφιερωμένο σημείο τερματισμού είναι το
/v1/fim/completions - Το αποτέλεσμα είναι: prompt + completion + suffix = complete code
- Το suffix είναι απαραίτητο για συμπληρώσεις υψηλής ποιότητας με βάση το πλαίσιο
- Χρησιμοποιήστε
temperature=0και όρια token για αυτόματη συμπλήρωση σε IDE