N Completions и стоп-последователности
На тази страница
Генериране на множество отговори в една заявка
За да приключим този раздел относно параметрите на генерирането, ще разгледаме два практични инструмента за контрол: параметърът N completions, който Ви позволява да поискате множество отговори от един и същ промпт в рамките на едно API извикване, и стоп-последователностите, които определят къде генерирането спира. Първият помага за сравняване на алтернативи, увеличаване на шансовете за получаване на оптимален отговор или захранване на процес на автоматичен подбор; вторият Ви дава контрол върху дължината и формата на изходните данни.
Параметърът n: как работи
Когато зададете n=5, моделът генерира 5 независими отговора за Вашия промпт, като всеки от тях се връща като отделен избор в обекта с отговора. Един аспект на таксуването заслужава вниманието Ви, преди да го използвате масово: входните токени – Вашият промпт – се таксуват само веднъж, но изходните токени се таксуват за всяко завършване. При n=5, плащате пет пъти за изходните токени, но само веднъж за промпта: за дълъг промпт и кратки отговори това е значително по-икономично от пет отделни извиквания.
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose a slogan for a French organic coffee brand."}
],
n=5,
temperature=0.8
)
for i, choice in enumerate(response.choices):
print(f"Option {i+1}: {choice.message.content}")
Този код произвежда 5 различни слогана, от които избирате най-добрия. Това е първата основна употреба на n: креативно генериране, при което получаването на множество опции за слоган, заглавие или име на продукт е за предпочитане пред един единствен опит. Втората употреба е класификация чрез гласуване: генерирате N класификации на един и същи текст и запазвате отговора на мнозинството, което изглажда случайните грешки. Използвате го също за проучване – тестване на няколко подхода към един и същи проблем – и за контрол на качеството, чрез проверка на консистентността на модела чрез сравняване на собствените му отговори.
Преди внедряването имайте предвид три ограничения. Първо, не всички модели на Mistral поддържат n, по-голямо от 1: проверете документацията за модела, който използвате. На второ място, латентността се увеличава с n, тъй като моделът генерира повече токени общо. И накрая – това е класическа грешка за начинаещи – винаги комбинирайте n > 1 с достатъчно висока температура (0.5 и нагоре): при температура 0, Вашите пет отговора ще бъдат почти идентични и ще сте платили пет пъти за едно и също изречение.
Стоп-последователности: контрол къде приключва генерирането
Стоп-последователностите са низове от знаци, които принуждават модела да спре веднага щом ги генерира. Това е основен механизъм за контрол на дължината и формата на отговорите. Нека започнем с умишлено опростен пример, за да установим концепцията:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List the days of the week, one per line."}
],
stop=["Saturday"]
)
Тук моделът спира веднага щом генерира думата “Saturday”, произвеждайки съкратен списък. На практика стоп-последователностите са най-полезни със структурни разделители. Първи случай на употреба: извличане на един единствен раздел от структуриран отговор. Ако Вашият промпт иска анализ в три части, спирането на генерирането при второто заглавие Ви дава само първия:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": """Analyze this product:
## Strengths
(your analysis here)
## Weaknesses
(your analysis here)
## Conclusion
(your analysis here)"""}
],
stop=["## Weaknesses"]
)
# The model stops after the strengths
Втори случай: ограничаване на генерирането до JSON блок, комбиниране на стоп-последователността с предварително попълване на съобщението на асистента, което отваря къдравата скоба:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Return the metadata for this article in JSON."},
{"role": "assistant", "content": "{", "prefix": True}
],
stop=["}"]
)
# The model generates the JSON content and stops at the closing brace
Трети случай: предотвратяване на продължаването на модела след неговия отговор. За затворен въпрос, спирането при първия нов ред гарантира сух отговор “YES” или “NO”, без параграф с обосновка, който не сте поискали:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Answer the following question with YES or NO only.\nIs the Earth round?"}
],
stop=["\n"]
)
Параметърът max_tokens
Като допълнение към стоп-последователностите, max_tokens задава твърда граница за броя на изходните токени:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Summarize the history of France."}
],
max_tokens=200
)
Обърнете внимание на неговото поведение: max_tokens прекъсва отговора рязко, потенциално по средата на изречението – Вашият обобщение може да завърши с “и така Наполеон”. Третирайте го като предпазна мрежа срещу безкрайни отговори, а не като основен начин за контрол на дължината. За тази цел предпочитайте инструкции в промпта (“отговорете в 3 изречения”), комбинирани с щедър max_tokens.
Комбиниране на параметри
Тези механизми блескат, когато се използват заедно. Следващият пример генерира 5 различни заглавия на статии, всяко ограничено до един единствен ред благодарение на стоп-последователността, с таван от 50 токена като предпазна мярка:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You generate blog article titles. One title per response."
},
{
"role": "user",
"content": "Theme: workplace productivity in 2026"
}
],
n=5,
temperature=0.8,
max_tokens=50,
stop=["\n"]
)
titres = [choice.message.content.strip() for choice in response.choices]
for i, titre in enumerate(titres):
print(f"{i+1}. {titre}")
Ключови изводи
- Параметърът
nгенерира множество отговори в едно извикване (входните токени се таксуват веднъж) - Комбинирайте
n > 1с достатъчна температура, за да получите реални вариации - Стоп-последователностите спират генерирането на конкретен разделител
max_tokensе предпазна мрежа, а не основен контрол на дължината- Комбинирайте тези параметри за фино контролирано генериране