Fill-In-The-Middle (FIM)
Pe această pagină
Principiul Fill-In-The-Middle
Fill-In-The-Middle, sau FIM, reprezintă capacitatea cea mai distinctivă a lui Codestral. În generarea standard, un model extinde textul pornind de la un punct inițial, fără alt context de luat în considerare. FIM schimbă regulile jocului: vă permite să completați un gol în mijlocul codului. Furnizați începutul, numit prompt, și sfârșitul, numit suffix, iar Codestral generează codul intermediar care leagă cele două părți într-un mod coerent.
Acest mecanism rezolvă o problemă foarte concretă în autocompletarea din IDE-uri. Atunci când tastați în mijlocul unui fișier, o sugestie relevantă depinde la fel de mult de ceea ce urmează după cursor cât și de ceea ce precede acesta. O metodă inserată între alte două trebuie să respecte stilul lor, convențiile de denumire și contractul implicit al clasei. Un model care vede doar contextul din amonte propune un cod plauzibil, dar adesea redundant cu ceea ce există deja zece linii mai jos.
Operațiunea se reduce la trei elemente. Prompt-ul conține codul dinaintea punctului de inserție – cu alte cuvinte, ceea ce ați scris deja înainte de cursor. Suffix-ul conține codul de după cursor. Completarea este fragmentul generat de Codestral, care se inserează între cele două. Rezultatul final respectă întotdeauna aceeași ecuație: prompt + completion + suffix = complete code.
Endpoint-ul /v1/fim/completions
Mistral AI expune funcționalitatea FIM printr-un endpoint dedicat. Spre deosebire de endpoint-ul standard de chat, acesta acceptă parametrii prompt și suffix în loc de un tablou de mesaje.
Structura cererii
from mistralai.client import Mistral
client = Mistral(api_key="your_api_key")
response = client.fim.complete(
model="codestral-latest",
prompt="def fibonacci(n: int):",
suffix="n = int(input('Enter a number: '))\nprint(fibonacci(n))",
temperature=0,
)
print(response.choices[0].message.content)
Aici, Codestral primește semnătura funcției fibonacci ca prompt și codul de apelare ca suffix. Sarcina sa este de a genera corpul care transformă această semnătură într-o implementare funcțională, știind că funcția va fi apelată cu un întreg introdus de la tastatură, iar valoarea returnată va fi afișată direct.
Parametri cheie
model— întotdeauna"codestral-latest"pentru FIMprompt— codul dinaintea cursorului (obligatoriu)suffix— codul de după cursor (opțional, dar recomandat)temperature—0pentru rezultate deterministe,0.2-0.7pentru varietatemax_tokens— limitează lungimea completării generatestop— listă de tokeni de oprire (de exemplu,["\n\n"]pentru a se opri după un bloc)
Exemplu concret: Completarea unei clase Python
Să analizăm un scenariu comun: scrieți un serviciu și vă lipsește o metodă la mijlocul clasei.
prompt = """class UserService:
def __init__(self, db):
self.db = db
def get_user(self, user_id: int):
"""
suffix = """
def delete_user(self, user_id: int):
return self.db.execute("DELETE FROM users WHERE id = ?", (user_id,))
"""
response = client.fim.complete(
model="codestral-latest",
prompt=prompt,
suffix=suffix,
temperature=0,
max_tokens=200,
)
Suffix-ul preia întreaga greutate în ceea ce privește contextul. Văzând delete_user, Codestral învață trei lucruri: clasa interoghează baza de date prin self.db.execute, utilizează interogări parametrizate cu ? și returnează rezultatul direct, fără un strat intermediar. Modelul deduce că get_user trebuie să urmeze exact același model și generează:
return self.db.execute("SELECT * FROM users WHERE id = ?", (user_id,))
Încercați din nou exercițiul fără suffix și veți observa diferența. Lipsit de acest punct de ancorare, modelul va inventa adesea un ORM sau un cursor care nu există nicăieri în proiectul dumneavoastră.
FIM vs. Chat: Alegerea instrumentului potrivit
| Situație | Endpoint | De ce |
|---|---|---|
| Autocompletare într-un IDE | FIM | Contextul dinaintea ȘI de după cursor este disponibil |
| Generarea unei funcții complete | Chat | Nu este necesar niciun suffix |
| Completarea unui fișier de configurare | FIM | Formatul și structura existente ghidează completarea |
| Explicarea codului | Chat | Sarcină în limbaj natural, nu de completare |
| Scrierea testelor unitare | Chat sau FIM | FIM dacă fișierul de test există deja parțial |
Optimizarea utilizării FIM
Calitatea completării depinde în primul rând de contextul pe care îl furnizați. Includeți în prompt importurile, clasa părinte și funcțiile vecine. Acestea indică modelului ce biblioteci sunt disponibile și ce stil să adopte. Suffix-ul merită o atenție deosebită, deoarece fără acesta, FIM se degradează într-o generare standard și își pierde valoarea.
În ceea ce privește setările, autocompletarea în IDE funcționează cel mai bine la temperature=0, astfel încât aceeași situație să producă întotdeauna aceeași sugestie. Un dezvoltator care vede propunerea schimbându-se la fiecare apăsare de tastă o va dezactiva în cele din urmă. Mențineți max_tokens scăzut, între 50 și 200, deoarece completați o linie sau un bloc, nu un modul întreg. În final, tokenii de oprire previn depășirea limitelor: stop=["\n\n"] taie generarea la sfârșitul blocului curent, în loc să permită modelului să rescrie jumătate din fișier.
Puncte cheie
- FIM completează codul între un prompt (înainte) și un suffix (după)
- Endpoint-ul dedicat este
/v1/fim/completions - Rezultatul este: prompt + completion + suffix = complete code
- Suffix-ul este esențial pentru completări contextuale de înaltă calitate
- Utilizați
temperature=0și limite de tokeni pentru autocompletarea în IDE