Fill-In-The-Middle (FIM)
Ezen az oldalon
A Fill-In-The-Middle elv
A Fill-In-The-Middle, röviden FIM, a Codestral legmeghatározóbb képessége. A szokásos generálás során a modell egy kiindulópontból folytatja a szöveget, anélkül, hogy bármi mást figyelembe venne. Az FIM megváltoztatja a játékot: lehetővé teszi, hogy kódot illessz be egy hiányzó rész középre. Megadod az elejét, amit promptnak hívunk, és a végét, amit suffixnek nevezünk, a Codestral pedig generálja a két részt összekötő közbenső kódot.
Ez a mechanizmus egy nagyon konkrét problémát old meg az IDE-k automatikus kiegészítésében. Amikor egy fájl közepén gépelsz, egy releváns javaslat ugyanannyira függ a kurzor utáni kódtól, mint az azt megelőzőtől. Egy két metódus közé beszúrt függvénynek tiszteletben kell tartania azok stílusát, elnevezési konvencióit és az osztály implicit szerződését. Egy modell, amely csak a megelőző kontextust látja, olyan hihető kódot javasol, amely gyakran felesleges ismétlése annak, ami már létezik tíz sorral lejjebb.
A művelet három elemre redukálódik. A prompt a beszúrási pont előtti kódot tartalmazza – más szóval azt, amit már megírtál a kurzor előtt. A suffix a kurzor utáni kódot foglalja magában. A kiegészítés az a töredék, amelyet a Codestral generál, és amely a kettő közé illeszkedik. A végeredmény mindig ugyanazt az egyenletet követi: prompt + completion + suffix = complete code.
A /v1/fim/completions végpont
A Mistral AI egy dedikált végponton keresztül teszi elérhetővé az FIM funkciót. A szabványos chat végponttal ellentétben ez nem üzenettömböt, hanem prompt és suffix paramétereket fogad el.
Kérelem szerkezete
from mistralai.client import Mistral
client = Mistral(api_key="your_api_key")
response = client.fim.complete(
model="codestral-latest",
prompt="def fibonacci(n: int):",
suffix="n = int(input('Enter a number: '))\nprint(fibonacci(n))",
temperature=0,
)
print(response.choices[0].message.content)
Itt a Codestral a fibonacci függvény aláírását kapja meg promptként, a hívó kódot pedig suffixként. A feladata az, hogy generálja azt a törzset, amely ezt az aláírást működő implementációvá alakítja, tudva, hogy a függvényt egy billentyűzeten beírt egész számmal hívják meg, és a visszatérési értékét változtatás nélkül kiírja a rendszer.
Kulcsfontosságú paraméterek
model— FIM esetén mindig"codestral-latest"prompt— a kurzor előtti kód (kötelező)suffix— a kurzor utáni kód (opcionális, de ajánlott)temperature—0determinisztikus eredményekhez,0.2-0.7változatosság érdekébenmax_tokens— korlátozza a generált kiegészítés hosszátstop— leállító tokenek listája (pl.["\n\n"]egy blokk utáni leállításhoz)
Konkrét példa: Egy Python-osztály kiegészítése
Nézzünk egy gyakori forgatókönyvet: egy szolgáltatást írsz, és hiányzik egy metódus az osztály közepéről.
prompt = """class UserService:
def __init__(self, db):
self.db = db
def get_user(self, user_id: int):
"""
suffix = """
def delete_user(self, user_id: int):
return self.db.execute("DELETE FROM users WHERE id = ?", (user_id,))
"""
response = client.fim.complete(
model="codestral-latest",
prompt=prompt,
suffix=suffix,
temperature=0,
max_tokens=200,
)
A suffix végzi a nehéz munkát a kontextus biztosításában. A delete_user láttán a Codestral három dolgot tanul meg: az osztály a self.db.execute segítségével kérdezi le az adatbázist, paraméterezett lekérdezéseket használ ? jellel, és közvetlenül adja vissza az eredményt köztes réteg nélkül. Ebből arra következtet, hogy a get_user metódusnak pontosan ugyan ezt a mintát kell követnie, és generálja a következőt:
return self.db.execute("SELECT * FROM users WHERE id = ?", (user_id,))
Próbáld meg újra a gyakorlatot suffix nélkül, és látni fogod a különbséget. E horgony nélkül a modell gyakran kitalál egy ORM-et vagy egy cursort, amelyek sehol sem léteznek a projektedben.
FIM kontra Chat: A megfelelő eszköz kiválasztása
| Helyzet | Végpont | Miért |
|---|---|---|
| Automatikus kiegészítés IDE-ben | FIM | A kurzor előtti ÉS utáni kontextus is elérhető |
| Teljes függvény generálása | Chat | Nincs szükség suffixre |
| Konfigurációs fájl kiegészítése | FIM | A meglévő formátum és struktúra vezérli a kiegészítést |
| Kód magyarázata | Chat | Természetes nyelvi feladat, nem kiegészítés |
| Egységtesztek írása | Chat vagy FIM | FIM, ha a tesztfájl már részben létezik |
Az FIM maximális kihasználása
A kiegészítés minősége elsősorban az általad biztosított kontextustól függ. Vegyél fel importálásokat, a szülőosztályt és a szomszédos függvényeket a promptba. Ezek tájékoztatják a modellt arról, mely könyvtárak állnak rendelkezésre, és milyen stílust kell követnie. A suffix különös figyelmet érdemel, mert nélküle az FIM szokásos generálássá silányul, és elveszíti az értékét.
A beállításokat illetően az IDE-k automatikus kiegészítése temperature=0 értéknél működik a legjobban, így ugyanaz a helyzet mindig ugyanazt a javaslatot eredményezi. Egy fejlesztő, aki látja, hogy a javaslat minden billentyűleütésnél megváltozik, előbb-utóbb kikapcsolja a funkciót. Tartsd alacsonyan a max_tokens értékét, 50 és 200 között, mivel csak egy sort vagy egy blokkot egészítesz ki, nem egy teljes modult. Végül a leállító tokenek megakadályozzák a túlfutást: a stop=["\n\n"] leállítja a generálást az aktuális blokk végén, ahelyett, hogy hagyná a modellnek, hogy átírja a fájl felét.
Főbb megállapítások
- Az FIM kódot egészít ki egy prompt (előtte) és egy suffix (utána) között
- A dedikált végpont:
/v1/fim/completions - Az eredmény: prompt + completion + suffix = teljes kód
- A suffix elengedhetetlen a magas minőségű, kontextusfüggő kiegészítésekhez
- Használj
temperature=0értéket és tokenkorlátokat az IDE automatikus kiegészítéséhez