Fill-In-The-Middle (FIM)
Na ovoj stranici
Načelo Fill-In-The-Middle
Fill-In-The-Middle, ili FIM, najprepoznatljivija je mogućnost modela Codestral. Kod standardnog generiranja, model proširuje tekst od početne točke nemajući ništa drugo za uzeti u obzir. FIM mijenja pravila igre: omogućuje ti popunjavanje praznine usred koda. Daješ početak, nazvan prompt, i kraj, nazvan suffix, a Codestral generira međukod koji čisto povezuje ta dva dijela.
Ovaj mehanizam rješava vrlo konkretan problem automatskog dovršavanja u IDE-u. Kada tipkaš usred datoteke, relevantan prijedlog ovisi jednako o onome što slijedi nakon kursora koliko i o onome što mu prethodi. Metoda umetnuta između dviju drugih mora poštovati njihov stil, konvencije imenovanja i implicitni ugovor klase. Model koji vidi samo uzlazni kontekst predlaže vjerojatan kod koji je često suvišan s onim što već postoji deset redaka niže.
Operacija se svodi na tri elementa. Prompt sadrži kod prije točke umetanja – drugim riječima, ono što si već napisao prije kursora. Suffix sadrži kod nakon kursora. Dovršetak (completion) je fragment koji generira Codestral, a koji se uklapa između ta dva dijela. Konačni rezultat uvijek se pokorava istoj jednadžbi: prompt + completion + suffix = complete code.
Krajnja točka /v1/fim/completions
Mistral AI izlaže FIM putem namjenske krajnje točke. Za razliku od standardne krajnje točke za chat, ova prihvaća parametre prompt i suffix umjesto polja poruka.
Struktura zahtjeva
from mistralai.client import Mistral
client = Mistral(api_key="your_api_key")
response = client.fim.complete(
model="codestral-latest",
prompt="def fibonacci(n: int):",
suffix="n = int(input('Enter a number: '))\nprint(fibonacci(n))",
temperature=0,
)
print(response.choices[0].message.content)
Ovdje Codestral prima potpis funkcije fibonacci kao prompt, a pozivni kod kao suffix. Njegov je zadatak generirati tijelo koje tu potpis pretvara u radnu implementaciju, znajući da će se funkcija pozvati s cijelim brojem unesenim putem tipkovnice i da će se njezina povratna vrijednost ispisati kakva jest.
Ključni parametri
model— uvijek"codestral-latest"za FIMprompt— kod prije kursora (obavezno)suffix— kod nakon kursora (opcionalno, ali preporučljivo)temperature—0za determinističke rezultate,0.2-0.7za raznolikostmax_tokens— ograničava duljinu generiranog dovršetkastop— popis tokena za zaustavljanje (npr.["\n\n"]za zaustavljanje nakon bloka)
Konkretni primjer: Dovršavanje Python klase
Pogledajmo čest scenarij: pišeš servis i nedostaje ti metoda usred klase.
prompt = """class UserService:
def __init__(self, db):
self.db = db
def get_user(self, user_id: int):
"""
suffix = """
def delete_user(self, user_id: int):
return self.db.execute("DELETE FROM users WHERE id = ?", (user_id,))
"""
response = client.fim.complete(
model="codestral-latest",
prompt=prompt,
suffix=suffix,
temperature=0,
max_tokens=200,
)
Suffix obavlja sav težak posao u vezi s kontekstom. Vidjevši delete_user, Codestral uči tri stvari: klasa upituje bazu podataka putem self.db.execute, koristi parametrizirane upite s ? i vraća rezultat izravno bez međusloja. Zaključuje da get_user mora slijediti točno isti obrazac i generira:
return self.db.execute("SELECT * FROM users WHERE id = ?", (user_id,))
Pokušaj ponoviti vježbu bez suffixa i vidjet ćeš razliku. Lišen te sidrišne točke, model će često izmisliti ORM ili kursor koji ne postoje nigdje u tvom projektu.
FIM naspram Chata: Odabir pravog alata
| Situacija | Krajnja točka | Zašto |
|---|---|---|
| Automatsko dovršavanje u IDE-u | FIM | Dostupan je kontekst PRIJE i NAKON kursora |
| Generiranje kompletne funkcije | Chat | Suffix nije potreban |
| Dovršavanje konfiguracijske datoteke | FIM | Postojeći format i struktura vode dovršavanje |
| Objašnjavanje koda | Chat | Zadatak u prirodnom jeziku, a ne dovršavanje |
| Pisanje jediničnih testova | Chat ili FIM | FIM ako testna datoteka već djelomično postoji |
Kako izvući maksimum iz FIM-a
Kvaliteta dovršavanja prvenstveno ovisi o kontekstu koji pružiš. Uključi importe, nadređenu klasu i susjedne funkcije u prompt. Oni govore modelu koje su knjižnice dostupne i kojeg se stila treba pridržavati. Suffix zaslužuje posebnu pozornost jer bez njega FIM degradira u standardno generiranje i gubi svoju vrijednost.
Što se tiče postavki, automatsko dovršavanje u IDE-u najbolje radi pri temperature=0 kako bi ista situacija uvijek proizvela isti prijedlog. Programer koji vidi kako se prijedlog mijenja sa svakim pritiskom tipke na kraju će ga onemogućiti. Drži max_tokens niskim, između 50 i 200, jer dovršavaš redak ili blok, a ne cijeli modul. Konačno, tokeni za zaustavljanje sprječavaju preljev: stop=["\n\n"] prekida generiranje na kraju trenutnog bloka umjesto da dopusti modelu da prepíše pola datoteke.
Ključne točke
- FIM dovršava kod između prompta (prije) i suffixa (poslije)
- Namjenska krajnja točka je
/v1/fim/completions - Rezultat je: prompt + completion + suffix = complete code
- Suffix je ključan za kvalitetna kontekstualna dovršavanja
- Koristi
temperature=0i ograničenja tokena za automatsko dovršavanje u IDE-u