Fill-In-The-Middle (FIM)
Na tej strani
Načelo Fill-In-The-Middle
Fill-In-The-Middle ali FIM je najbolj prepoznavna zmožnost modela Codestral. Pri standardnem generiranju model besedilo zgolj razširi od izhodišča naprej, ne da bi upošteval kaj drugega. FIM spremeni pravila igre: omogoča ti izpolnitev vrzeli sredi kode. Zagotoviš začetek, imenovan prompt, in konec, imenovan suffix, Codestral pa ustvari vmesno kodo, ki oba dela gladko poveže.
Ta mehanizem rešuje zelo konkreten problem samodejnega dokončevanja v urejevalnikih kode (IDE). Ko tipkaš sredi datoteke, je ustrezen predlog odvisen enako od tega, kar sledi kazalcu, kot od tega, kar mu predhaja. Metoda, vstavljena med dve drugi, mora spoštovati njihov slog, poimenovanja in implicitno pogodbo razreda. Model, ki vidi le kontekst pred seboj, predlaga verjetno kodo, ki je pogosto odvečna glede na tisto, kar obstaja deset vrstic nižje.
Operacija temelji na treh elementih. Prompt vsebuje kodo pred točko vstavljanja – z drugimi besedami, tisto, kar si že napisal pred kazalcem. Suffix vsebuje kodo za kazalcem. Dokončanje je fragment, ki ga ustvari Codestral in se umesti med oba dela. Končni rezultat vedno sledi isti enačbi: prompt + completion + suffix = complete code.
Končna točka /v1/fim/completions
Mistral AI omogoča FIM prek namensko končne točke. Za razliko od standardne končne točke za klepet ta sprejme parametra prompt in suffix namesto polja sporočil.
Struktura zahteve
from mistralai.client import Mistral
client = Mistral(api_key="your_api_key")
response = client.fim.complete(
model="codestral-latest",
prompt="def fibonacci(n: int):",
suffix="n = int(input('Enter a number: '))\nprint(fibonacci(n))",
temperature=0,
)
print(response.choices[0].message.content)
Tukaj Codestral prejme podpis funkcije fibonacci kot prompt in klicno kodo kot suffix. Njegova naloga je ustvariti telo, ki ta podpis spremeni v delujočo implementacijo, pri čemer ve, da bo funkcija poklicana s celim številom, vnesenim s tipkovnice, in da bo njena vrnjena vrednost izpisana takšna, kot je.
Ključni parametri
model— vedno"codestral-latest"za FIMprompt— koda pred kazalcem (obvezno)suffix— koda za kazalcem (izbirno, a priporočljivo)temperature—0za deterministične rezultate,0.2-0.7za raznolikostmax_tokens— omeji dolžino ustvarjenega dokončanjastop— seznam zaustavitvenih žetonov (npr.["\n\n"]za zaustavitev po bloku)
Konkreten primer: Dokončanje razreda Python
Oglejmo si pogost scenarij: pišeš storitev in ti sredi razreda manjka metoda.
prompt = """class UserService:
def __init__(self, db):
self.db = db
def get_user(self, user_id: int):
"""
suffix = """
def delete_user(self, user_id: int):
return self.db.execute("DELETE FROM users WHERE id = ?", (user_id,))
"""
response = client.fim.complete(
model="codestral-latest",
prompt=prompt,
suffix=suffix,
temperature=0,
max_tokens=200,
)
Suffix opravi večino težkega dela glede konteksta. Ker vidi delete_user, se Codestral nauči treh stvari: razred poizveduje v bazo podatkov prek self.db.execute, uporablja parametrizirane poizvedbe z ? in rezultat vrne neposredno brez vmesne plasti. Sklene, da mora get_user slediti popolnoma enakemu vzorcu, in ustvari:
return self.db.execute("SELECT * FROM users WHERE id = ?", (user_id,))
Poskusi vajo znova brez suffixa in videl boš razliko. Brez te sidrne točke bo model pogosto izumil ORM ali kazalec, ki v tvojem projektu ne obstajata nikjer.
FIM proti klepetu: Izbira pravega orodja
| Situacija | Končna točka | Zakaj |
|---|---|---|
| Samodejno dokončevanje v IDE | FIM | Na voljo je kontekst pred IN za kazalcem |
| Generiranje celotne funkcije | Klepet | Suffix ni potreben |
| Dokončevanje konfiguracijske datoteke | FIM | Obstoječa oblika in struktura vodita dokončanje |
| Razlaga kode | Klepet | Naloga v naravnem jeziku, ne dokončevanje |
| Pisanje enotskih testov | Klepet ali FIM | FIM, če testna datoteka že delno obstaja |
Najboljša izraba FIM-a
Kakovost dokončanja je najprej odvisna od konteksta, ki ga zagotoviš. V prompt vključi uvoze, nadrejeni razred in sosednje funkcije. Ti podatki modelu povedo, katere knjižnice so na voljo in kateri slog naj prevzame. Suffix si zasluži posebno pozornost, saj brez njega FIM degradira v standardno generiranje in izgubi svojo vrednost.
Glede nastavitev samodejno dokončevanje v IDE najbolje deluje pri temperature=0, tako da ista situacija vedno proizvede isti predlog. Razvijalec, ki vidi, da se predlog spreminja z vsakim pritiskom tipke, ga bo sčasoma onemogočil. Ohrani max_tokens nizko, med 50 in 200, saj dokončuješ vrstico ali blok, ne celotnega modula. Nazadnje, žetoni za zaustavitev preprečijo prelivanje: stop=["\n\n"] prekine generiranje na koncu trenutnega bloka, namesto da bi modelu dovolil prepisati polovico datoteke.
Ključne ugotovitve
- FIM dokonča kodo med promptom (pred) in suffixom (za)
- Namenska končna točka je
/v1/fim/completions - Rezultat je: prompt + completion + suffix = complete code
- Suffix je bistven za kakovostna kontekstualna dokončanja
- Za samodejno dokončevanje v IDE uporabi
temperature=0in omejitve žetonov