Попълване в средата (FIM)
На тази страница
Принципът на попълване в средата
Попълване в средата (Fill-In-The-Middle или FIM) е най-отличителната способност на Codestral. При стандартното генериране моделът разширява текста от начална точка, без да взема предвид нищо друго. FIM променя правилата на играта: той Ви позволява да попълните празнина в средата на кода. Вие предоставяте началото, наречено подсказка (prompt), и края, наречен суфикс (suffix), а Codestral генерира междинния код, който свързва двете части по чист начин.
Този механизъм решава много конкретен проблем при автоматичното довършване в IDE. Когато пишете в средата на файл, релевантното предложение зависи еднакво от това, което следва курсора, и от това, което му предхожда. Метод, вмъкнат между два други, трябва да спазва техния стил, конвенциите за именуване и имплицитния договор на класа. Модел, който вижда само контекста преди курсора, предлага правдоподобен код, който често е излишен спрямо това, което вече съществува десет реда по-надолу.
Операцията се свежда до три елемента. Подсказката съдържа кода преди точката на вмъкване – с други думи, това, което вече сте написали преди курсора. Суфиксът съдържа кода след курсора. Допълването е фрагментът, генериран от Codestral, който се позиционира между двете. Крайният резултат винаги се подчинява на същото уравнение: prompt + completion + suffix = complete code.
Крайната точка /v1/fim/completions
Mistral AI предоставя достъп до FIM чрез специализирана крайна точка. За разлика от стандартната крайна точка за чат, тази приема параметрите prompt и suffix вместо масив от съобщения.
Структура на заявката
from mistralai.client import Mistral
client = Mistral(api_key="your_api_key")
response = client.fim.complete(
model="codestral-latest",
prompt="def fibonacci(n: int):",
suffix="n = int(input('Enter a number: '))\nprint(fibonacci(n))",
temperature=0,
)
print(response.choices[0].message.content)
Тук Codestral получава подписа на функцията fibonacci като подсказка, а извикващия код – като суфикс. Неговата задача е да генерира тялото, което превръща този подпис в работеща имплементация, знаейки, че функцията ще бъде извикана с цяло число, въведено от клавиатурата, и че нейната върната стойност ще бъде отпечатана директно.
Ключови параметри
model— винаги"codestral-latest"за FIMprompt— кодът преди курсора (задължителен)suffix— кодът след курсора (по избор, но препоръчителен)temperature—0за детерминирани резултати,0.2-0.7за разнообразиеmax_tokens— ограничава дължината на генерираното допълванеstop— списък със стоп токени (напр.["\n\n"]за спиране след блок)
Конкретен пример: Допълване на Python клас
Нека разгледаме често срещан сценарий: пишете сервис и Ви липсва метод в средата на класа.
prompt = """class UserService:
def __init__(self, db):
self.db = db
def get_user(self, user_id: int):
"""
suffix = """
def delete_user(self, user_id: int):
return self.db.execute("DELETE FROM users WHERE id = ?", (user_id,))
"""
response = client.fim.complete(
model="codestral-latest",
prompt=prompt,
suffix=suffix,
temperature=0,
max_tokens=200,
)
Суфиксът върши цялата тежка работа по отношение на контекста. Виждайки delete_user, Codestral научава три неща: класът заявява базата данни чрез self.db.execute, използва параметризирани заявки с ? и връща резултата директно без междинен слой. Той заключава, че get_user трябва да следва точно същия шаблон и генерира:
return self.db.execute("SELECT * FROM users WHERE id = ?", (user_id,))
Опитайте упражнението отново без суфикса и ще видите разликата. Лишен от тази котва, моделът често ще измисли ORM или курсор, които не съществуват никъде във Вашия проект.
FIM срещу Чат: Избор на правилния инструмент
| Ситуация | Крайна точка | Защо |
|---|---|---|
| Автоматично довършване в IDE | FIM | Наличен е контекстът преди И след курсора |
| Генериране на цяла функция | Чат | Няма нужда от суфикс |
| Допълване на конфигурационен файл | FIM | Съществуващият формат и структура насочват допълването |
| Обясняване на код | Чат | Задача на естествен език, а не допълване |
| Писане на юнит тестове | Чат или FIM | FIM, ако тестовият файл вече съществува частично |
Как да извлечете максимума от FIM
Качеството на допълването зависи преди всичко от контекста, който предоставяте. Включете импорти, родителския клас и съседните функции в подсказката. Те информират модела кои библиотеки са налични и какъв стил да приеме. Суфиксът заслужава специално внимание, защото без него FIM се деградира до стандартно генериране и губи стойността си.
Що се отнася до настройките, автоматичното довършване в IDE работи най-добре при temperature=0, така че една и съща ситуация винаги да произвежда едно и също предложение. Разработчик, който вижда предложението да се променя с всяко натискане на клавиш, в крайна сметка ще го деактивира. Поддържайте max_tokens ниско, между 50 и 200, тъй като допълвате ред или блок, а не цял модул. Накрая, стоп токените предотвратяват преливането: stop=["\n\n"] прекъсва генерирането в края на текущия блок, вместо да позволява на модела да препише половината файл.
Ключови изводи
- FIM допълва код между подсказка (преди) и суфикс (след)
- Специализираната крайна точка е
/v1/fim/completions - Резултатът е: prompt + completion + suffix = complete code
- Суфиксът е от съществено значение за висококачествени контекстуални допълвания
- Използвайте
temperature=0и ограничения на токените за автоматично довършване в IDE