Fill-In-The-Middle (FIM)
Auf dieser Seite
Das Prinzip Fill-In-The-Middle
Fill-In-The-Middle, kurz FIM, ist die markanteste Fähigkeit von Codestral. Bei der Standardgenerierung erweitert ein Modell Text ab einem Startpunkt, ohne weitere Informationen zu berücksichtigen. FIM ändert das Spiel: Es ermöglicht es Ihnen, eine Lücke mitten im Code zu füllen. Sie stellen den Anfang, den Prompt, und das Ende, den Suffix, bereit, und Codestral generiert den dazwischenliegenden Code, der beide Teile sauber verbindet.
Dieser Mechanismus löst ein sehr konkretes Problem der IDE-Autocompletion. Wenn Sie mitten in einer Datei tippen, hängt eine relevante Vorschlagung sowohl davon ab, was dem Cursor folgt, als auch davon, was ihm vorausgeht. Eine Methode, die zwischen zwei anderen eingefügt wird, muss deren Stil, Namenskonventionen und den impliziten Vertrag der Klasse respektieren. Ein Modell, das nur den upstream-Kontext sieht, schlägt oft plausible Code vor, der mit dem, was zehn Zeilen weiter unten bereits existiert, redundante Überschneidungen aufweist.
Die Operation lässt sich auf drei Elemente reduzieren. Der Prompt enthält den Code vor dem Einfügemarke-Punkt – also das, was Sie bereits vor dem Cursor geschrieben haben. Der Suffix enthält den Code nach dem Cursor. Die Completion ist der von Codestral generierte Fragment, der zwischen den beiden platziert wird. Das Endergebnis folgt immer derselben Gleichung: prompt + completion + suffix = complete code.
Der Endpunkt /v1/fim/completions
Mistral AI stellt FIM über einen dedizierten Endpunkt bereit. Im Gegensatz zum Standard-Chat-Endpunkt akzeptiert dieser Parameter prompt und suffix anstelle eines Nachrichtenarrays.
Anforderungsstruktur
from mistralai.client import Mistral
client = Mistral(api_key="your_api_key")
response = client.fim.complete(
model="codestral-latest",
prompt="def fibonacci(n: int):",
suffix="n = int(input('Enter a number: '))\nprint(fibonacci(n))",
temperature=0,
)
print(response.choices[0].message.content)
Hier empfängt Codestral die Funktionszeichenatur der fibonacci-Funktion als Prompt und den Aufrufcode als Suffix. Seine Aufgabe ist es, den Körper zu generieren, der diese Zeichenatur in eine funktionierende Implementierung verwandelt, unter der Kenntnis, dass die Funktion mit einer über die Tastatur eingegebenen Ganzzahl aufgerufen wird und ihr Rückgabewert unverändert ausgegeben wird.
Wichtige Parameter
model— immer"codestral-latest"für FIMprompt— der Code vor dem Cursor (erforderlich)suffix— der Code nach dem Cursor (optional, aber empfohlen)temperature—0für deterministische Ergebnisse,0,2-0,7für Vielfaltmax_tokens— begrenzt die Länge der generierten Completionstop— Liste von Stop-Tokens (z. B.["\n\n"], um nach einem Block zu stoppen)
Konkretes Beispiel: Completion einer Python-Klasse
Schauen wir uns eine gängige Situation an: Sie schreiben einen Dienst und fehlen eine Methode in der Mitte der Klasse.
prompt = """class UserService:
def __init__(self, db):
self.db = db
def get_user(self, user_id: int):
"""
suffix = """
def delete_user(self, user_id: int):
return self.db.execute("DELETE FROM users WHERE id = ?", (user_id,))
"""
response = client.fim.complete(
model="codestral-latest",
prompt=prompt,
suffix=suffix,
temperature=0,
max_tokens=200,
)
Der Suffix übernimmt die meiste Arbeit bezüglich des Kontextes. Indem er delete_user sieht, lernt Codestral drei Dinge: Die Klasse fragt die Datenbank über self.db.execute ab, sie verwendet parametrisierte Abfragen mit ?, und sie gibt das Ergebnis direkt zurück, ohne eine Zwischenschicht. Sie schließt daraus, dass get_user exakt demselben Muster folgen muss, und generiert:
return self.db.execute("SELECT * FROM users WHERE id = ?", (user_id,))
Versuchen Sie die Übung erneut ohne den Suffix, und Sie werden den Unterschied bemerken. Entbunden von diesem Anker wird das Modell oft eine ORM oder einen Cursor erfinden, die in Ihrem Projekt nirgendwo existieren.
FIM vs. Chat: Das richtige Werkzeug wählen
| Situation | Endpunkt | Warum |
|---|---|---|
| Autocompletion in einer IDE | FIM | Kontext vor UND nach dem Cursor ist verfügbar |
| Generierung einer vollständigen Funktion | Chat | Kein Suffix erforderlich |
| Completion einer Konfigurationsdatei | FIM | Vorhandenes Format und Struktur leiten die Completion |
| Erklärung von Code | Chat | Aufgabe in natürlicher Sprache, keine Completion |
| Schreiben von Unit-Tests | Chat oder FIM | FIM, wenn die Testdatei bereits teilweise existiert |
FIM optimal nutzen
Die Qualität der Completion hängt primär vom bereitgestellten Kontext ab. Schließen Sie Imports, die übergeordnete Klasse und benachbarte Funktionen im Prompt ein. Diese geben dem Modell Hinweise darauf, welche Bibliotheken verfügbar sind und welchen Stil es anzunehmen hat. Der Suffix verdient besondere Aufmerksamkeit, da FIM ohne ihn in die Standardgenerierung abgleitet und seinen Wert verliert.
Hinsichtlich der Einstellungen funktioniert IDE-Autocompletion am besten bei temperature=0, sodass dieselbe Situation immer dieselbe Vorschlagung erzeugt. Ein Entwickler, der sieht, dass sich das Vorschlag bei jeder Tastenanschlag ändert, wird sie schließlich deaktivieren. Halten Sie max_tokens niedrig, zwischen 50 und 200, da Sie eine Zeile oder einen Block vervollständigen, nicht ein ganzes Modul. Schließlich verhindern Stop-Tokens Überläufe: stop=["\n\n"] unterbricht die Generierung am Ende des aktuellen Blocks, anstatt das Modell zu lassen, die Hälfte der Datei umzuschreiben.
Kernaussagen
- FIM vervollständigt Code zwischen einem Prompt (vorher) und einem Suffix (nachher)
- Der dedizierte Endpunkt ist
/v1/fim/completions - Das Ergebnis lautet: prompt + completion + suffix = complete code
- Der Suffix ist für hochwertige kontextbezogene Completions unerlässlich
- Verwenden Sie
temperature=0und Token-Grenzen für IDE-Autocompletion