Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

Fill-In-The-Middle (FIM)

Lektion 2 von 14 Aktualisiert am 2. November 2026 Entwickler
Auf dieser Seite
  1. Das Prinzip Fill-In-The-Middle
  2. Der Endpunkt /v1/fim/completions
  3. Konkretes Beispiel: Completion einer Python-Klasse
  4. FIM vs. Chat: Das richtige Werkzeug wählen
  5. FIM optimal nutzen
  6. Kernaussagen

Das Prinzip Fill-In-The-Middle

Fill-In-The-Middle, kurz FIM, ist die markanteste Fähigkeit von Codestral. Bei der Standardgenerierung erweitert ein Modell Text ab einem Startpunkt, ohne weitere Informationen zu berücksichtigen. FIM ändert das Spiel: Es ermöglicht es Ihnen, eine Lücke mitten im Code zu füllen. Sie stellen den Anfang, den Prompt, und das Ende, den Suffix, bereit, und Codestral generiert den dazwischenliegenden Code, der beide Teile sauber verbindet.

Dieser Mechanismus löst ein sehr konkretes Problem der IDE-Autocompletion. Wenn Sie mitten in einer Datei tippen, hängt eine relevante Vorschlagung sowohl davon ab, was dem Cursor folgt, als auch davon, was ihm vorausgeht. Eine Methode, die zwischen zwei anderen eingefügt wird, muss deren Stil, Namenskonventionen und den impliziten Vertrag der Klasse respektieren. Ein Modell, das nur den upstream-Kontext sieht, schlägt oft plausible Code vor, der mit dem, was zehn Zeilen weiter unten bereits existiert, redundante Überschneidungen aufweist.

Die Operation lässt sich auf drei Elemente reduzieren. Der Prompt enthält den Code vor dem Einfügemarke-Punkt – also das, was Sie bereits vor dem Cursor geschrieben haben. Der Suffix enthält den Code nach dem Cursor. Die Completion ist der von Codestral generierte Fragment, der zwischen den beiden platziert wird. Das Endergebnis folgt immer derselben Gleichung: prompt + completion + suffix = complete code.

Der Endpunkt /v1/fim/completions

Mistral AI stellt FIM über einen dedizierten Endpunkt bereit. Im Gegensatz zum Standard-Chat-Endpunkt akzeptiert dieser Parameter prompt und suffix anstelle eines Nachrichtenarrays.

Anforderungsstruktur

from mistralai.client import Mistral

client = Mistral(api_key="your_api_key")

response = client.fim.complete(
    model="codestral-latest",
    prompt="def fibonacci(n: int):",
    suffix="n = int(input('Enter a number: '))\nprint(fibonacci(n))",
    temperature=0,
)

print(response.choices[0].message.content)

Hier empfängt Codestral die Funktionszeichenatur der fibonacci-Funktion als Prompt und den Aufrufcode als Suffix. Seine Aufgabe ist es, den Körper zu generieren, der diese Zeichenatur in eine funktionierende Implementierung verwandelt, unter der Kenntnis, dass die Funktion mit einer über die Tastatur eingegebenen Ganzzahl aufgerufen wird und ihr Rückgabewert unverändert ausgegeben wird.

Wichtige Parameter

  • model — immer "codestral-latest" für FIM
  • prompt — der Code vor dem Cursor (erforderlich)
  • suffix — der Code nach dem Cursor (optional, aber empfohlen)
  • temperature — 0 für deterministische Ergebnisse, 0,2-0,7 für Vielfalt
  • max_tokens — begrenzt die Länge der generierten Completion
  • stop — Liste von Stop-Tokens (z. B. ["\n\n"], um nach einem Block zu stoppen)

Konkretes Beispiel: Completion einer Python-Klasse

Schauen wir uns eine gängige Situation an: Sie schreiben einen Dienst und fehlen eine Methode in der Mitte der Klasse.

prompt = """class UserService:
    def __init__(self, db):
        self.db = db

    def get_user(self, user_id: int):
"""

suffix = """
    def delete_user(self, user_id: int):
        return self.db.execute("DELETE FROM users WHERE id = ?", (user_id,))
"""

response = client.fim.complete(
    model="codestral-latest",
    prompt=prompt,
    suffix=suffix,
    temperature=0,
    max_tokens=200,
)

Der Suffix übernimmt die meiste Arbeit bezüglich des Kontextes. Indem er delete_user sieht, lernt Codestral drei Dinge: Die Klasse fragt die Datenbank über self.db.execute ab, sie verwendet parametrisierte Abfragen mit ?, und sie gibt das Ergebnis direkt zurück, ohne eine Zwischenschicht. Sie schließt daraus, dass get_user exakt demselben Muster folgen muss, und generiert:

        return self.db.execute("SELECT * FROM users WHERE id = ?", (user_id,))

Versuchen Sie die Übung erneut ohne den Suffix, und Sie werden den Unterschied bemerken. Entbunden von diesem Anker wird das Modell oft eine ORM oder einen Cursor erfinden, die in Ihrem Projekt nirgendwo existieren.

FIM vs. Chat: Das richtige Werkzeug wählen

SituationEndpunktWarum
Autocompletion in einer IDEFIMKontext vor UND nach dem Cursor ist verfügbar
Generierung einer vollständigen FunktionChatKein Suffix erforderlich
Completion einer KonfigurationsdateiFIMVorhandenes Format und Struktur leiten die Completion
Erklärung von CodeChatAufgabe in natürlicher Sprache, keine Completion
Schreiben von Unit-TestsChat oder FIMFIM, wenn die Testdatei bereits teilweise existiert

FIM optimal nutzen

Die Qualität der Completion hängt primär vom bereitgestellten Kontext ab. Schließen Sie Imports, die übergeordnete Klasse und benachbarte Funktionen im Prompt ein. Diese geben dem Modell Hinweise darauf, welche Bibliotheken verfügbar sind und welchen Stil es anzunehmen hat. Der Suffix verdient besondere Aufmerksamkeit, da FIM ohne ihn in die Standardgenerierung abgleitet und seinen Wert verliert.

Hinsichtlich der Einstellungen funktioniert IDE-Autocompletion am besten bei temperature=0, sodass dieselbe Situation immer dieselbe Vorschlagung erzeugt. Ein Entwickler, der sieht, dass sich das Vorschlag bei jeder Tastenanschlag ändert, wird sie schließlich deaktivieren. Halten Sie max_tokens niedrig, zwischen 50 und 200, da Sie eine Zeile oder einen Block vervollständigen, nicht ein ganzes Modul. Schließlich verhindern Stop-Tokens Überläufe: stop=["\n\n"] unterbricht die Generierung am Ende des aktuellen Blocks, anstatt das Modell zu lassen, die Hälfte der Datei umzuschreiben.

Kernaussagen

  • FIM vervollständigt Code zwischen einem Prompt (vorher) und einem Suffix (nachher)
  • Der dedizierte Endpunkt ist /v1/fim/completions
  • Das Ergebnis lautet: prompt + completion + suffix = complete code
  • Der Suffix ist für hochwertige kontextbezogene Completions unerlässlich
  • Verwenden Sie temperature=0 und Token-Grenzen für IDE-Autocompletion