Fill-In-The-Middle (FIM)
Sellel lehel
Fill-In-The-Middle’i põhimõte
Fill-In-The-Middle ehk FIM on Codestralli eristuvaim võimekus. Tavapärases genereerimises laiendab mudel teksti lähtepunktist, arvestamata muud konteksti. FIM muudab reegleid: see võimaldab sul täita tühimiku koodi keskel. Sa annad alguse, mida nimetatakse vihjeks (prompt), ja lõpu, mida nimetatakse sufiksiks (suffix), ning Codestral genereerib vahepealse koodi, mis ühendab need kaks osa sujuvalt.
See mehhanism lahendab IDE-de automaatse lõpetamise väga konkreetse probleemi. Kui kirjutad faili keskel, sõltub asjakohane ettepanek sama palju sellest, mis asub kursorist eespool, kui sellest, mis on sellest taga. Meetod, mis sisestatakse kahe teise vahele, peab austama nende stiili, nimekonventsioone ja klassi implitsiitset lepingut. Mudel, mis näeb ainult eelnevat konteksti, pakub usutavat koodi, mis osutub sageli üleliigseks võrreldes sellega, mis eksisteerib juba kümmet rida allpool.
Tegevus taandub kolmele elemendile. Vihje sisaldab koodi enne sisestuspunkti – teisisõnu seda, mida oled enne kursorit juba kirjutanud. Sufiks sisaldab koodi pärast kursorit. Lõpetamine on Codestralli genereeritud fragment, mis asetub nende kahe vahele. Lõpptulemus järgib alati sama võrrandit: vihje + lõpetamine + sufiks = täielik kood.
/v1/fim/completions lõpp-punkt
Mistral AI pakub FIM-i spetsiaalse lõpp-punkti kaudu. Erinevalt tavapärasest vestluse lõpp-punktist aktsepteerib see parameetreid prompt ja suffix sõnumite massiivi asemel.
Päringu struktuur
from mistralai.client import Mistral
client = Mistral(api_key="your_api_key")
response = client.fim.complete(
model="codestral-latest",
prompt="def fibonacci(n: int):",
suffix="n = int(input('Enter a number: '))\nprint(fibonacci(n))",
temperature=0,
)
print(response.choices[0].message.content)
Siin saab Codestral funktsiooni fibonacci signatuuri vihjena ja väljakutse koodi sufiksina. Selle ülesandeks on genereerida keha, mis muudab selle signatuuri toimivaks implementatsiooniks, teades, et funktsiooni kutsutakse välja klaviatuurilt sisestatud täisarvuga ja selle tagastatav väärtus trükitakse muutmatuna.
Peamised parameetrid
model– FIM-i puhul alati"codestral-latest"prompt– kood enne kursorit (kohustuslik)suffix– kood pärast kursorit (valikuline, kuid soovitatav)temperature–0deterministlike tulemuste jaoks,0.2-0.7varieeruvuse jaoksmax_tokens– piirab genereeritud lõpetuse pikkuststop– peatustokenite loend (nt["\n\n"], et peatuda pärast plokki)
Konkreetne näide: Pythoni klassi lõpetamine
Vaatleme levinud stsenaariumi: kirjutad teenust ja klassi keskelt puudub meetod.
prompt = """class UserService:
def __init__(self, db):
self.db = db
def get_user(self, user_id: int):
"""
suffix = """
def delete_user(self, user_id: int):
return self.db.execute("DELETE FROM users WHERE id = ?", (user_id,))
"""
response = client.fim.complete(
model="codestral-latest",
prompt=prompt,
suffix=suffix,
temperature=0,
max_tokens=200,
)
Sufiks teeb konteksti osas kogu raske töö. Nähes delete_user-it, õpib Codestral kolme asja: klass päringutab andmebaasi kasutades self.db.execute, kasutab parameteriseeritud päringuid sümboliga ? ja tagastab tulemuse otse ilma vahekihita. See järeldab, et get_user peab järgima täpselt sama mustrit, ja genereerib:
return self.db.execute("SELECT * FROM users WHERE id = ?", (user_id,))
Proovi harjutust uuesti ilma sufiksita ja näed erinevust. Ilma selle ankruta leiutab mudel sageli ORM-i või kursori, mida sinu projektis kusagil ei eksisteeri.
FIM vs vestlus: õige tööriista valimine
| Olukord | Lõpp-punkt | Miks |
|---|---|---|
| Automaatne lõpetamine IDE-s | FIM | Kontekst on saadaval nii enne kui ka pärast kursorit |
| Täieliku funktsiooni genereerimine | Vestlus | Sufiksi vajadus puudub |
| Konfiguratsioonifaili lõpetamine | FIM | Olemasolev formaat ja struktuur juhivad lõpetamist |
| Koodi selgitamine | Vestlus | Loomuliku keele ülesanne, mitte lõpetamine |
| Ühiktestide kirjutamine | Vestlus või FIM | FIM, kui testifail on juba osaliselt olemas |
FIM-i maksimaalne ära kasutamine
Lõpetamise kvaliteet sõltub esmajoones sinu pakutavast kontekstist. Lisa vihjesse impordid, ülemklass ja naaberfunktsioonid. Need annavad mudelile teada, millised teegid on saadaval ja millist stiili eelistada. Sufiks väärib erilist tähelepanu, sest ilma selleta taandub FIM tavapäraseks genereerimiseks ja kaotab oma väärtuse.
Seadistuste osas toimib IDE automaatne lõpetamine kõige paremini väärtusega temperature=0, nii et sama olukord toodab alati sama ettepaneku. Arendaja, kes näeb ettepanekut iga klahvivajutusega muutuvat, lõpetab selle lõpuks kasutamise. Hoia max_tokens madalana, vahemikus 50–200, kuna sa lõpetad rida või plokki, mitte tervet moodulit. Lõpuks takistavad peatustokenid ülevoolu: stop=["\n\n"] katkestab genereerimise praeguse ploki lõpus, selle asemel et lasta mudelil ümber kirjutada poolt faili.
Peamised punktid
- FIM lõpetab koodi vihje (enne) ja sufiksi (pärast) vahel
- Spetsiaalne lõpp-punkt on
/v1/fim/completions - Tulemus on: vihje + lõpetamine + sufiks = täielik kood
- Sufiks on hädavajalik kvaliteetse kontekstipõhise lõpetamise jaoks
- Kasuta IDE automaatseks lõpetamiseks väärtust
temperature=0ja tokenite piiranguid