Fill-In-The-Middle (FIM)
Na tejto strane
Princíp Fill-In-The-Middle
Fill-In-The-Middle, alebo FIM, je najvýraznejšou schopnosťou modelu Codestral. Pri štandardnej generácii model rozširuje text od východiskového bodu bez akéhokoľvek ďalšieho kontextu. FIM mení pravidlá hry: umožňuje ti vyplniť medzeru uprostred kódu. Poskytneš začiatok, nazývaný prompt, a koniec, nazývaný suffix, a Codestral vygeneruje stredný kód, ktorý obe časti plynulo prepojí.
Tento mechanizmus rieši veľmi konkrétny problém automatického dopĺňania v IDE. Keď píšeš uprostred súboru, relevantný návrh závisí rovnako od toho, čo nasleduje za kurzorom, ako od toho, čo mu predchádza. Metóda vložená medzi dve iné musí rešpektovať ich štýl, konvencie pomenovania a implicitnú zmluvu triedy. Model, ktorý vidí iba kontext pred kurzorom, navrhne síce pravdepodobný kód, ktorý však často duplikuje to, čo už existuje o desať riadkov nižšie.
Celá operácia sa redukuje na tri prvky. Prompt obsahuje kód pred bodom vloženia – inými slovami, to, čo si už napísal pred kurzorom. Suffix obsahuje kód za kurzorom. Doplnenie je fragment vygenerovaný modelom Codestral, ktorý sa vloží medzi ne. Konečný výsledok sa vždy riadi rovnakou rovnicou: prompt + completion + suffix = complete code.
Koncový bod /v1/fim/completions
Spoločnosť Mistral AI sprístupňuje FIM prostredníctvom vyhradeného koncového bodu. Na rozdiel od štandardného koncového bodu pre chat tento akceptuje parametre prompt a suffix namiesto poľa správ.
Štruktúra požiadavky
from mistralai.client import Mistral
client = Mistral(api_key="your_api_key")
response = client.fim.complete(
model="codestral-latest",
prompt="def fibonacci(n: int):",
suffix="n = int(input('Enter a number: '))\nprint(fibonacci(n))",
temperature=0,
)
print(response.choices[0].message.content)
Tu Codestral dostáva ako prompt podpis funkcie fibonacci a ako suffix volací kód. Jeho úlohou je vygenerovať telo funkcie, ktoré zmení tento podpis na funkčnú implementáciu, pričom vie, že funkcia bude zavolaná s celým číslom zadaným z klávesnice a jej návratová hodnota bude priamo vypísaná.
Kľúčové parametre
model– pre FIM vždy"codestral-latest"prompt– kód pred kurzorom (povinné)suffix– kód za kurzorom (voliteľné, ale odporúčané)temperature–0pre deterministické výsledky,0.2-0.7pre variabilitumax_tokens– obmedzuje dĺžku vygenerovaného doplneniastop– zoznam ukončovacích tokenov (napr.["\n\n"]na zastavenie po bloku)
Konkrétny príklad: Doplnenie triedy v Pythone
Pozrime sa na bežný scenár: píšeš službu a v strede triedy ti chýba metóda.
prompt = """class UserService:
def __init__(self, db):
self.db = db
def get_user(self, user_id: int):
"""
suffix = """
def delete_user(self, user_id: int):
return self.db.execute("DELETE FROM users WHERE id = ?", (user_id,))
"""
response = client.fim.complete(
model="codestral-latest",
prompt=prompt,
suffix=suffix,
temperature=0,
max_tokens=200,
)
Suffix odvádza hlavnú prácu súvisiacu s kontextom. Videním metódy delete_user sa Codestral naučí tri veci: trieda dopytuje databázu cez self.db.execute, používa parameterizované dopyty s ? a vracia výsledok priamo bez medziľahlej vrstvy. Odvodí, že get_user musí nasledovať presne rovnaký vzor, a vygeneruje:
return self.db.execute("SELECT * FROM users WHERE id = ?", (user_id,))
Skús si cvičenie zopakovať bez suffixu a uvidíš rozdiel. Bez tejto kotvy model často vymyslí ORM alebo kurzor, ktorý v tvojom projekte nikde neexistuje.
FIM verzus Chat: Výber správneho nástroja
| Situácia | Koncový bod | Prečo |
|---|---|---|
| Automatické dopĺňanie v IDE | FIM | Kontext pred aj za kurzorom je dostupný |
| Generovanie kompletnej funkcie | Chat | Suffix nie je potrebný |
| Dopĺňanie konfiguračného súboru | FIM | Existujúci formát a štruktúra vedú doplnenie |
| Vysvetľovanie kódu | Chat | Úloha v prirodzenom jazyku, nie dopĺňanie |
| Písanie unit testov | Chat alebo FIM | FIM, ak testovací súbor už čiastočne existuje |
Ako vyťažiť z FIM maximum
Kvalita doplnenia závisí predovšetkým od kontextu, ktorý poskytnes. Do promptu zahrň importy, rodičovskú triedu a susedné funkcie. Tieto informácie modelu hovoria, ktoré knižnice sú dostupné a aký štýl má prijať. Suffix si zasluhuje osobitnú pozornosť, pretože bez neho sa FIM degraduje na štandardnú generáciu a stráca svoju hodnotu.
Pokiaľ ide o nastavenia, automatické dopĺňanie v IDE funguje najlepšie pri temperature=0, aby rovnaká situácia vždy vyprodukovala rovnaký návrh. Vývojár, ktorý vidí, ako sa návrh mení s každým stlačením klávesy, ho nakoniec vypne. Hodnotu max_tokens udržuj nízku, medzi 50 a 200, keďže dopĺňaš riadok alebo blok, nie celý modul. Nakoniec, ukončovacie tokeny zabraňujú pretečeniu: stop=["\n\n"] ukončí generovanie na konci aktuálneho bloku namiesto toho, aby model prepísal polovicu súboru.
Kľúčové poznatky
- FIM dopĺňa kód medzi prompt (pred) a suffix (za)
- Vyhradený koncový bod je
/v1/fim/completions - Výsledkom je: prompt + completion + suffix = complete code
- Suffix je nevyhnutný pre kvalitné kontextové doplnenia
- Pre automatické dopĺňanie v IDE používaj
temperature=0a obmedzenia tokenov