Fill-In-The-Middle (FIM)
På denne side
Princippet om Fill-In-The-Middle
Fill-In-The-Middle, eller FIM, er Codestrals mest distinctive evne. Ved standardgenerering udvider en model tekst fra et startpunkt uden andet at tage hensyn til. FIM ændrer spillereglerne: det lader dig udfylde et hul midt i koden. Du angiver begyndelsen, kaldet promptet, og slutningen, kaldet suffixet, hvorefter Codestral genererer den mellemliggende kode, der forbinder de to dele rent og pænt.
Denne mekanisme løser et meget konkret problem i IDE-autofuldførelse. Når du skriver midt i en fil, afhænger et relevant forslag lige så meget af, hvad der følger efter markøren, som af hvad der går forud. En metode, der indsættes mellem to andre, skal overholde deres stil, navngivningskonventioner og klassens implicitte kontrakt. En model, der kun ser konteksten opstrøms, foreslår plausibel kode, der ofte er redundant i forhold til det, der allerede eksisterer ti linjer længere nede.
Operationen koges ned til tre elementer. Promptet indeholder koden før indsættelsespunktet – med andre ord det, du allerede har skrevet før markøren. Suffixet indeholder koden efter markøren. Fuldførelsen er det fragment, Codestral genererer, og som passer ind mellem de to. Det endelige resultat adlyder altid den samme ligning: prompt + completion + suffix = complete code.
Endepunktet /v1/fim/completions
Mistral AI eksponerer FIM via et dedikeret endepunkt. I modsætning til det standard chat-endepunkt accepterer dette parametrene prompt og suffix i stedet for en besked-array.
Anmodningsstruktur
from mistralai.client import Mistral
client = Mistral(api_key="your_api_key")
response = client.fim.complete(
model="codestral-latest",
prompt="def fibonacci(n: int):",
suffix="n = int(input('Enter a number: '))\nprint(fibonacci(n))",
temperature=0,
)
print(response.choices[0].message.content)
Her modtager Codestral funktionssignaturen for fibonacci som prompt og den kaldende kode som suffix. Dens opgave er at generere kroppen, der gør denne signatur til en fungerende implementering, idet den ved, at funktionen vil blive kaldt med et heltal indtastet via tastaturet, og at dens returværdi vil blive udskrevet som den er.
Nøgleparametre
model— altid"codestral-latest"til FIMprompt— koden før markøren (påkrævet)suffix— koden efter markøren (valgfri, men anbefales)temperature—0for deterministiske resultater,0,2-0,7for variationmax_tokens— begrænser længden af den genererede fuldførelsestop— liste over stop-tokens (f.eks.["\n\n"]for at stoppe efter en blok)
Konkret eksempel: Fuldførelse af en Python-klasse
Lad os se på et almindeligt scenarie: Du skriver en service og mangler en metode midt i klassen.
prompt = """class UserService:
def __init__(self, db):
self.db = db
def get_user(self, user_id: int):
"""
suffix = """
def delete_user(self, user_id: int):
return self.db.execute("DELETE FROM users WHERE id = ?", (user_id,))
"""
response = client.fim.complete(
model="codestral-latest",
prompt=prompt,
suffix=suffix,
temperature=0,
max_tokens=200,
)
Suffixet løser hele det tunge arbejde i forhold til kontekst. Ved at se delete_user lærer Codestral tre ting: Klassen spørger databasen via self.db.execute, den bruger parametriserede forespørgsler med ?, og den returnerer resultatet direkte uden et mellemliggende lag. Den udleder, at get_user skal følge nøjagtig samme mønster og genererer:
return self.db.execute("SELECT * FROM users WHERE id = ?", (user_id,))
Prøv øvelsen igen uden suffixet, så vil du se forskellen. Uden dette anker vil modellen ofte opfinde et ORM eller en cursor, der ikke eksisterer nogen steder i dit projekt.
FIM vs. Chat: Valg af det rigtige værktøj
| Situation | Endepunkt | Hvorfor |
|---|---|---|
| Autofuldførelse i en IDE | FIM | Kontekst før OG efter markøren er tilgængelig |
| Generering af en komplet funktion | Chat | Intet suffix nødvendigt |
| Fuldførelse af en konfigurationsfil | FIM | Eksisterende format og struktur guider fuldførelsen |
| Forklaring af kode | Chat | Opgave på naturligt sprog, ikke fuldførelse |
| Skrivning af unit-tests | Chat eller FIM | FIM hvis testfilen allerede eksisterer delvist |
Få mest muligt ud af FIM
Kvaliteten af fuldførelsen afhænger først og fremmest af den kontekst, du leverer. Inkluder imports, forældreklassen og nabofunktioner i promptet. Disse fortæller modellen, hvilke biblioteker der er tilgængelige, og hvilken stil den skal adoptere. Suffixet fortjener særlig opmærksomhed, for uden det degraderer FIM til standardgenerering og mister sin værdi.
Med hensyn til indstillinger fungerer IDE-autofuldførelse bedst ved temperature=0, så den samme situation altid producerer det samme forslag. En udvikler, der ser forslaget ændre sig ved hvert tastetryk, vil til sidst deaktivere det. Hold max_tokens lavt, mellem 50 og 200, da du fuldfører en linje eller en blok, ikke en hel modul. Endelig forhindrer stop-tokens overflow: stop=["\n\n"] afbryder genereringen ved slutningen af den aktuelle blok i stedet for at lade modellen omskrive halvdelen af filen.
Vigtige pointer
- FIM fuldfører kode mellem et prompt (før) og et suffix (efter)
- Det dedikerede endepunkt er
/v1/fim/completions - Resultatet er: prompt + completion + suffix = complete code
- Suffixet er afgørende for kontekstuelle fuldførelser af høj kvalitet
- Brug
temperature=0og token-begrænsninger til IDE-autofuldførelse