Fill-In-The-Middle (FIM)
Tällä sivulla
Periaate Fill-In-The-Middle (FIM)
Fill-In-The-Middle eli FIM on Codestralin erottuvin ominaisuus. Tavallisessa tekstin tuottamisessa malli jatkaa tekstiä lähtökohdasta eteenpäin ottamatta muuta huomioon. FIM muuttaa pelin: sen avulla voit täyttää aukon koodin keskellä. Syötät alun, jota kutsutaan kehotteeksi (prompt), ja lopun, jota kutsutaan jätteeksi (suffix), ja Codestral luo näiden väliin sopivan koodinpätkän.
Tämä mekanismi ratkaisee hyvin konkreettisen ongelman IDE-työkalujen automaattisessa täydennyksessä. Kun kirjoitat tiedoston keskellä, osuva ehdotus riippuu yhtä paljon kohdistimen jälkeisestä koodista kuin sitä edeltävästäkin. Kahden metodin väliin lisättävän metodin on noudatettava niiden tyyliä, nimeämiskäytäntöjä ja luokan implisiittistä sopimusta. Malli, joka näkee vain edeltävän kontekstin, ehdottaa uskottavaa koodia, joka on usein päällekkäistä kymmenen riviä alempana olevan kanssa.
Toiminto tiivistyy kolmeen osaan. Kehote sisältää koodin ennen lisäyskohtaa – eli kaiken, mitä olet jo kirjoittanut ennen kohdistinta. Jäte sisältää koodin kohdistimen jälkeen. Täydennys on Codestralin tuottama osa, joka sijoittuu näiden kahden väliin. Lopputulos noudattaa aina samaa yhtälöä: kehotte + täydennys + jäte = valmis koodi.
Päätepiste /v1/fim/completions
Mistral AI tarjoaa FIM-toiminnon erillisen päätepisteen kautta. Toisin kuin tavallinen chat-päätepiste, tämä hyväksyy parametrit prompt ja suffix viestitaulukon sijaan.
Pyynnön rakenne
from mistralai.client import Mistral
client = Mistral(api_key="your_api_key")
response = client.fim.complete(
model="codestral-latest",
prompt="def fibonacci(n: int):",
suffix="n = int(input('Enter a number: '))\nprint(fibonacci(n))",
temperature=0,
)
print(response.choices[0].message.content)
Tässä Codestral saa fibonacci-funktion allekirjoituksen kehotteena ja kutsukoodin jätteenä. Sen tehtävänä on generoida runko, joka muuttaa tämän allekirjoituksen toimivaksi toteutukseksi, tietäen että funktiota kutsutaan näppäimistöltä syötetyllä kokonaisluvulla ja että sen palautusarvo tulostetaan sellaisenaan.
Keskeiset parametrit
model— aina"codestral-latest"FIM-käytössäprompt— koodi ennen kohdistinta (pakollinen)suffix— koodi kohdistimen jälkeen (valinnainen, mutta suositeltava)temperature—0deterministisiin tuloksiin,0.2-0.7vaihteluunmax_tokens— rajoittaa generoidun täydennyksen pituuttastop— lista lopetusmerkeistä (esim.["\n\n"]pysäyttää generoinnin lohkon jälkeen)
Konkreettinen esimerkki: Python-luokan täydentäminen
Tarkastellaan yleistä tilannetta: kirjoitat palvelua ja luokasta puuttuu metodi keskeltä.
prompt = """class UserService:
def __init__(self, db):
self.db = db
def get_user(self, user_id: int):
"""
suffix = """
def delete_user(self, user_id: int):
return self.db.execute("DELETE FROM users WHERE id = ?", (user_id,))
"""
response = client.fim.complete(
model="codestral-latest",
prompt=prompt,
suffix=suffix,
temperature=0,
max_tokens=200,
)
Jäte hoitaa suurimman osan kontekstin välittämisestä. Nähdessään delete_user-metodin Codestral oppii kolme asiaa: luokka kysyy tietokantaa metodilla self.db.execute, se käyttää parametroituja kyselyitä merkillä ?, ja se palauttaa tuloksen suoraan ilman välikerrosta. Se päättelee, että get_user-metodin on noudatettava täsmälleen samaa kaavaa, ja generoi:
return self.db.execute("SELECT * FROM users WHERE id = ?", (user_id,))
Kokeile harjoitusta uudelleen ilman jätettä, niin näet eron. Ilman tätä ankkuria malli keksii usein ORM-kerroksen tai kursorin, jota ei ole missään projektissasi.
FIM vs. Chat: Oikean työkalun valinta
| Tilanne | Päätepiste | Miksi |
|---|---|---|
| Automaattinen täydennys IDE:ssä | FIM | Konteksti kohdistimen ennen ja jälkeen on saatavilla |
| Kokonaisen funktion generointi | Chat | Jätettä ei tarvita |
| Konfiguraatiotiedoston täydentäminen | FIM | Olemassa oleva muoto ja rakenne ohjaavat täydennystä |
| Koodin selittäminen | Chat | Luonnollisen kielen tehtävä, ei täydennys |
| Yksikkötestien kirjoittaminen | Chat tai FIM | FIM, jos testitiedosto on jo osittain olemassa |
FIM:n hyödyntäminen maksimaalisesti
Täydennyksen laatu riippuu ensisijaisesti tarjoamastasi kontekstista. Sisällytä kehotteeseen tuonnit (imports), emoluokka ja viereiset funktiot. Nämä kertovat mallille, mitkä kirjastot ovat käytettävissä ja mitä tyyliä sen tulee noudattaa. Jäte ansaitsee erityistä huomiota, sillä ilman sitä FIM rapautuu tavalliseksi tekstin generoinniksi ja menettää arvonsa.
Asetusten osalta IDE-automaattinen täydennys toimii parhaiten arvolla temperature=0, jotta sama tilanne tuottaa aina saman ehdotuksen. Kehittäjä, joka näkee ehdotuksen muuttuvan jokaisella näppäinpainalluksella, lopulta poistaa toiminnon käytöstä. Pidä max_tokens alhaisena, välillä 50–200, sillä täydennät riviä tai lohkoa, et koko moduulia. Lopuksi lopetusmerkit estävät ylivuodon: stop=["\n\n"] katkaisee generoinnin nykyisen lohkon lopussa sen sijaan, että malli kirjoittaisi puolet tiedostosta uudelleen.
Keskeiset asiat
- FIM täydentää koodia kehotteen (ennen) ja jätteen (jälkeen) välissä
- Erillinen päätepiste on
/v1/fim/completions - Tulos on: kehotte + täydennys + jäte = valmis koodi
- Jäte on välttämätön laadukkaille kontekstuaalisille täydennyksille
- Käytä arvoa
temperature=0ja token-rajoituksia IDE-automaattiseen täydennykseen