Fill-In-The-Middle (FIM)
Na této stránce
Princip Fill-In-The-Middle
Fill-In-The-Middle, neboli FIM, je nejvýraznější schopností modelu Codestral. Při standardní generaci model pouze rozšiřuje text od výchozího bodu, aniž by bral v úvahu cokoli dalšího. FIM mění pravidla hry: umožňuje ti doplnit chybějící část uprostřed kódu. Poskytneš začátek, nazývaný prompt, a konec, nazývaný suffix, a Codestral vygeneruje prostřední kód, který obě části plynule propojí.
Tento mechanismus řeší velmi konkrétní problém automatického doplňování v IDE. Když píšeš uprostřed souboru, závisí relevantní návrh stejně na tom, co následuje za kurzorem, jako na tom, co mu předchází. Metoda vložená mezi dvě jiné musí respektovat jejich styl, konvence pojmenování a implicitní kontrakt třídy. Model, který vidí pouze kontext před kurzorem, navrhne kód, který může vypadat věrohodně, ale často bude v rozporu s tím, co existuje o deset řádků níže.
Celá operace se skládá ze tří prvků. Prompt obsahuje kód před místem vložení – jinými slovy to, co jsi již napsal před kurzorem. Suffix obsahuje kód za kurzorem. Doplnění (completion) je fragment vygenerovaný modelem Codestral, který se vloží mezi ně. Konečný výsledek vždy odpovídá stejné rovnici: prompt + completion + suffix = complete code.
Koncový bod /v1/fim/completions
Společnost Mistral AI zpřístupňuje FIM prostřednictvím vyhrazeného koncového bodu. Na rozdíl od standardního koncového bodu pro chat tento přijímá parametry prompt a suffix místo pole zpráv.
Struktura požadavku
from mistralai.client import Mistral
client = Mistral(api_key="your_api_key")
response = client.fim.complete(
model="codestral-latest",
prompt="def fibonacci(n: int):",
suffix="n = int(input('Enter a number: '))\nprint(fibonacci(n))",
temperature=0,
)
print(response.choices[0].message.content)
Zde Codestral obdrží podpis funkce fibonacci jako prompt a volací kód jako suffix. Jeho úkolem je vygenerovat tělo funkce, které z tohoto podpisu učiní funkční implementaci, přičemž ví, že funkce bude volána s celým číslem zadaným z klávesnice a že její návratová hodnota bude přímo vypsána.
Klíčové parametry
model— pro FIM vždy"codestral-latest"prompt— kód před kurzorem (povinné)suffix— kód za kurzorem (volitelné, ale doporučené)temperature—0pro deterministické výsledky,0.2-0.7pro variabilitumax_tokens— omezuje délku vygenerovaného doplněnístop— seznam ukončovacích tokenů (např.["\n\n"]pro zastavení po bloku)
Konkrétní příklad: Doplnění třídy v Pythonu
Podívejme se na běžný scénář: píšeš službu a uprostřed třídy ti chybí metoda.
prompt = """class UserService:
def __init__(self, db):
self.db = db
def get_user(self, user_id: int):
"""
suffix = """
def delete_user(self, user_id: int):
return self.db.execute("DELETE FROM users WHERE id = ?", (user_id,))
"""
response = client.fim.complete(
model="codestral-latest",
prompt=prompt,
suffix=suffix,
temperature=0,
max_tokens=200,
)
Suffix odvádí hlavní práci v oblasti kontextu. Díky tomu, že vidí delete_user, se Codestral naučí tři věci: třída dotazuje databázi prostřednictvím self.db.execute, používá parametrované dotazy s ? a vrací výsledek přímo bez prostřední vrstvy. Odvodí, že get_user musí následovat přesně stejný vzor, a vygeneruje:
return self.db.execute("SELECT * FROM users WHERE id = ?", (user_id,))
Zkus si cvičení zopakovat bez suffixu a uvidíš rozdíl. Bez této kotvy bude model často vymýšlet ORM nebo kurzor, které ve tvém projektu nikde neexistují.
FIM versus Chat: Výběr správného nástroje
| Situace | Koncový bod | Proč |
|---|---|---|
| Automatické doplňování v IDE | FIM | Kontext před kurzorem I za kurzorem je dostupný |
| Generování kompletní funkce | Chat | Suffix není potřeba |
| Doplňování konfiguračního souboru | FIM | Existující formát a struktura řídí doplňování |
| Vysvětlování kódu | Chat | Úkol v přirozeném jazyce, nikoli doplňování |
| Psaní unit testů | Chat nebo FIM | FIM, pokud testovací soubor již částečně existuje |
Jak z FIM vytěžit maximum
Kvalita doplnění závisí především na kontextu, který poskytneš. Do promptu zahrň importy, nadřazenou třídu a sousední funkce. Ty modelu sdělí, které knihovny jsou k dispozici a jaký styl má přijmout. Suffix si zaslouží zvláštní pozornost, protože bez něj se FIM degraduje na standardní generaci a ztrácí svou hodnotu.
Co se týče nastavení, automatické doplňování v IDE funguje nejlépe při temperature=0, aby stejná situace vždy produkovala stejný návrh. Vývojář, který vidí, jak se návrh mění s každým stiskem klávesy, jej nakonec vypne. Udržuj max_tokens nízké, mezi 50 a 200, protože doplňuješ řádek nebo blok, nikoli celý modul. Nakonec ukončovací tokeny zabraňují přetečení: stop=["\n\n"] ukončí generování na konci aktuálního bloku, místo aby model přepsal polovinu souboru.
Klíčové poznatky
- FIM doplňuje kód mezi promptem (před) a suffixem (za)
- Vyhrazený koncový bod je
/v1/fim/completions - Výsledek je: prompt + completion + suffix = complete code
- Suffix je zásadní pro kvalitní kontextová doplnění
- Pro automatické doplňování v IDE používej
temperature=0a omezení tokenů