Doplňky N a sekvence ukončení
Na této stránce
Generování více odpovědí v jediném požadavku
Na závěr této sekce o parametrech generování se podíváme na dva praktické nástroje řízení: parametr N completions (počet doplňků), který ti umožní vyžádat si více odpovědí na stejný prompt v rámci jediného volání API, a sekvence ukončení (stop sequences), které určují, kde generování skončí. První nástroj ti pomáhá porovnávat alternativy, zvyšovat šanci na získání optimální odpovědi nebo napájet proces automatického výběru; druhý ti dává kontrolu nad délkou a formátem výstupů.
Parametr n: jak funguje
Když nastavíš n=5, model vygeneruje 5 nezávislých odpovědí na tvůj prompt, přičemž každá je vrácena jako samostatná volba v objektu odpovědi. Před intenzivním využíváním této funkce věnuj pozornost jednomu aspektu fakturace: vstupní tokeny (tvůj prompt) jsou účtovány pouze jednou, ale výstupní tokeny jsou účtovány za každé dokončení. Při n=5 platíš pětinásobek za výstupní tokeny, ale pouze jednou za prompt: u dlouhého promptu a krátkých odpovědí je to výrazně úspornější než pět samostatných volání.
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose a slogan for a French organic coffee brand."}
],
n=5,
temperature=0.8
)
for i, choice in enumerate(response.choices):
print(f"Option {i+1}: {choice.message.content}")
Tento kód vyprodukuje 5 různých sloganů, z nichž si vybereš ten nejlepší. To je první hlavní využití parametru n: kreativní generování, kde získání více možností pro slogan, nadpis nebo název produktu předčí jeden jediný pokus. Druhým využitím je klasifikace s hlasováním: vygeneruješ N klasifikací stejného textu a ponecháš si odpověď většiny, což vyhladí občasné chyby. Používáš jej také k průzkumu – testování několika přístupů ke stejnému problému – a ke kontrole kvality porovnáním vlastních odpovědí modelu za účelem ověření jeho konzistence.
Než nasadíš tuto funkci do provozu, měj na paměti tři omezení. Zaprvé, ne všechny modely Mistral podporují n větší než 1: zkontroluj dokumentaci pro model, který používáš. Zadruhé, latence roste s hodnotou n, protože model celkově generuje více tokenů. A konečně – toto je klasická chyba začátečníků – vždy kombinuj n > 1 s dostatečnou teplotou (0,5 a více): při teplotě 0 bude tvých pět odpovědí téměř totožných a zaplatíš pětinásobek za stejnou větu.
Sekvence ukončení: kontrola místa ukončení generování
Sekvence ukončení (stop sequences) jsou řetězce znaků, které donutí model zastavit generování, jakmile je vytvoří. Jedná se o zásadní mechanismus pro kontrolu délky a formátu odpovědí. Začněme záměrně zjednodušeným příkladem pro objasnění konceptu:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List the days of the week, one per line."}
],
stop=["Saturday"]
)
Zde se model zastaví, jakmile vygeneruje slovo „Saturday“, čímž vznikne useknutý seznam. V praxi jsou sekvence ukončení nejužitečnější při práci se strukturálními oddělovači. První případ použití: extrakce jedné sekce ze strukturované odpovědi. Pokud tvůj prompt požaduje analýzu ve třech částech, zastavení generování u druhého nadpisu ti poskytne pouze tu první:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": """Analyze this product:
## Strengths
(your analysis here)
## Weaknesses
(your analysis here)
## Conclusion
(your analysis here)"""}
],
stop=["## Weaknesses"]
)
# Model se zastaví po části o silných stránkách
Druhý případ: omezení generování na blok JSON kombinací sekvence ukončení s předvyplněním zprávy asistenta, které otevře složenou závorku:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Return the metadata for this article in JSON."},
{"role": "assistant", "content": "{", "prefix": True}
],
stop=["}"]
)
# Model vygeneruje obsah JSON a zastaví se u uzavírací závorky
Třetí případ: zabránění modelu v pokračování po jeho odpovědi. U uzavřené otázky zastavení u prvního zalomení řádku zaručí strohé „ANO“ nebo „NE“ bez odstavce s vysvětlením, který jsi nepožadoval:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Answer the following question with YES or NO only.\nIs the Earth round?"}
],
stop=["\n"]
)
Parametr max_tokens
Jako doplněk k sekvencím ukončení nastavuje parametr max_tokens pevný limit na počet výstupních tokenů:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Summarize the history of France."}
],
max_tokens=200
)
Sleduj jeho chování: max_tokens odpověď abruptně usekne, potenciálně uprostřed věty – tvé shrnutí může končit slovy „a tak Napoleon“. Považuj jej za bezpečnostní síť proti nekonečným odpovědím, nikoli jako primární způsob kontroly délky. Pro tu preferuj instrukce v promptu („odpověz ve 3 větách“) v kombinaci s velkorysým nastavením max_tokens.
Kombinace parametrů
Tyto mechanismy vyniknou, když jsou použity společně. Následující příklad generuje 5 různých nadpisů článků, z nichž každý je díky sekvenci ukončení omezen na jeden řádek, s 50tokenovým stropem jako pojistkou:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You generate blog article titles. One title per response."
},
{
"role": "user",
"content": "Theme: workplace productivity in 2026"
}
],
n=5,
temperature=0.8,
max_tokens=50,
stop=["\n"]
)
titres = [choice.message.content.strip() for choice in response.choices]
for i, titre in enumerate(titres):
print(f"{i+1}. {titre}")
Klíčové poznatky
- Parametr
ngeneruje více odpovědí v jediném volání (vstupní tokeny jsou účtovány jednou) - Kombinuj
n > 1s dostatečnou teplotou, abys získal skutečné variace - Sekvence ukončení zastaví generování na konkrétním oddělovači
max_tokensje bezpečnostní síť, nikoli primární nástroj pro kontrolu délky- Kombinuj tyto parametry pro jemnou kontrolu generování