Fill-In-The-Middle (FIM)
Šiame puslapyje
„Fill-In-The-Middle“ (FIM) principas
„Fill-In-The-Middle“ arba FIM yra išskirtinis „Codestral“ gebėjimas. Standartinio generavimo metu modelis tiesiog pratęsia tekstą nuo pradinio taško, neatsižvelgdamas į nieką kita. FIM pakeičia taisykles: jis leidžia užpildyti spragą kodo viduryje. Tu pateiki pradžią, vadinamą promptu, ir pabaigą, vadinamą suffixu, o „Codestral“ sugeneruoja tarpinį kodą, kuris sklandžiai sujungia šias dvi dalis.
Šis mechanizmas išsprendžia labai konkrečią IDE automatinio užbaigimo problemą. Kai rašai failo viduryje, tinkamas pasiūlymas priklauso tiek nuo to, kas yra po žymekliu, tiek nuo to, kas prieš jį. Metodas, įterpiamas tarp dviejų kitų, turi atitikti jų stilių, pavadinimų konvencijas ir numanomą klasės sutartį. Modelis, matantis tik ankstesnį kontekstą, siūlo tikėtiną kodą, kuris dažnai dubliuoja tai, kas jau egzistuoja dešimt eilučių žemiau.
Visa operacija susideda iš trijų elementų. Prompte yra kodas prieš įterpimo vietą – kitaip tariant, tai, ką jau parašei prieš žymeklį. Suffixe yra kodas po žymekliu. Užbaigimas yra „Codestral“ sugeneruotas fragmentas, kuris įsiterpia tarp šių dviejų dalių. Galutinis rezultatas visada paklūsta tai pačiai lygybei: prompt + completion + suffix = complete code.
Galinis taškas /v1/fim/completions
„Mistral AI“ pateikia FIM per specializuotą galinį tašką. Skirtingai nei standartinis pokalbių galinis taškas, šis priima parametrus prompt ir suffix vietoj žinučių masyvo.
Užklausos struktūra
from mistralai.client import Mistral
client = Mistral(api_key="your_api_key")
response = client.fim.complete(
model="codestral-latest",
prompt="def fibonacci(n: int):",
suffix="n = int(input('Enter a number: '))\nprint(fibonacci(n))",
temperature=0,
)
print(response.choices[0].message.content)
Čia „Codestral“ gauna funkcijos fibonacci parašą kaip promptą, o kvietimo kodą – kaip suffixą. Jo užduotis – sugeneruoti kūną, kuris šį parašą paverstų veikiančia implementacija, žinant, kad funkcija bus iškviesta su klaviatūra įvestu sveikuoju skaičiumi, o jos grąžinama reikšmė bus išvesta tokia, kokia yra.
Pagrindiniai parametrai
model– FIM atveju visada"codestral-latest"prompt– kodas prieš žymeklį (privaloma)suffix– kodas po žymekliu (nebūtina, bet rekomenduojama)temperature–0deterministiškiems rezultatams,0.2-0.7įvairoveimax_tokens– riboja sugeneruoto užbaigimo ilgįstop– sustabdymo tokenų sąrašas (pvz.,["\n\n"], norint sustoti po bloko)
Konkretus pavyzdys: Python klasės užbaigimas
Panagrinėkime dažną scenarijų: rašai servisą ir klasės viduryje trūksta metodo.
prompt = """class UserService:
def __init__(self, db):
self.db = db
def get_user(self, user_id: int):
"""
suffix = """
def delete_user(self, user_id: int):
return self.db.execute("DELETE FROM users WHERE id = ?", (user_id,))
"""
response = client.fim.complete(
model="codestral-latest",
prompt=prompt,
suffix=suffix,
temperature=0,
max_tokens=200,
)
Suffixas atlieka sunkiausią darbą suteikdamas kontekstą. Matydamas delete_user, „Codestral“ sužino tris dalykus: klasė užklausia duomenų bazę naudodama self.db.execute, naudoja parametrizuotas užklausas su ? ir grąžina rezultatą tiesiogiai be tarpinio sluoksnio. Jis daro išvadą, kad get_user turi laikytis точно tokio pat šablono, ir sugeneruoja:
return self.db.execute("SELECT * FROM users WHERE id = ?", (user_id,))
Pabandyk tą patį pratimą be suffixo ir pamatysi skirtumą. Netekęs šio inkaro, modelis dažnai išgalvos ORM arba kursorių, kurių tavo projekte nėra nė vienoje vietoje.
FIM prieš pokalbį: tinkamo įrankio pasirinkimas
| Situacija | Galinis taškas | Kodėl |
|---|---|---|
| Automatinis užbaigimas IDE | FIM | Yra kontekstas ir prieš, ir po žymekliu |
| Visos funkcijos generavimas | Pokalbis | Suffixas nereikalingas |
| Konfigūracijos failo užbaigimas | FIM | Esamas formatas ir struktūra nukreipia užbaigimą |
| Kodo paaiškinimas | Pokalbis | Natūralios kalbos užduotis, ne užbaigimas |
| Unit testų rašymas | Pokalbis arba FIM | FIM, jei testo failas jau iš dalies egzistuoja |
Kaip išgauti maksimalią FIM naudą
Užbaigimo kokybė pirmiausia priklauso nuo tavo pateikiamo konteksto. Į promptą įtrauk importus, tėvinę klasę ir gretimas funkcijas. Tai informuoja modelį, kurios bibliotekos yra prieinamos ir kokio stiliaus laikytis. Suffixas nusipelno ypatingo dėmesio, nes be jo FIM virsta standartiniu generavimu ir praranda savo vertę.
Kalbant apie nustatymus, IDE automatinis užbaigimas geriausiai veikia esant temperature=0, kad ta pati situacija visada duotų tą patį pasiūlymą. Kūrėjas, matantis pasiūlymą kintantį su kiekvienu klavišo paspaudimu, galiausiai jį išjungs. Laikyk max_tokens mažą, tarp 50 ir 200, nes užbaigi eilutę ar bloką, o ne visą modulį. Galiausiai, sustabdymo tokenai neleidžia viršyti ribų: stop=["\n\n"] nutraukia generavimą esamo bloko pabaigoje, užuot leidus modeliui perrašyti pusę failo.
Svarbiausi punktai
- FIM užbaigia kodą tarp prompto (prieš) ir suffixo (po)
- Specializuotas galinis taškas yra
/v1/fim/completions - Rezultatas yra: prompt + completion + suffix = complete code
- Suffixas yra būtinas aukštos kokybės kontekstiniam užbaigimui
- IDE automatiniam užbaigimui naudok
temperature=0ir tokenų ribas