Dokončenia N a sekvencie zastavenia
Na tejto strane
Generovanie viacerých odpovedí v jednej požiadavke
Na záver tejto sekcie o parametroch generovania sa pozrieme na dva praktické nástroje riadenia: parameter N completions (počet dokončení), ktorý ti umožňuje vyžiadať si viacero odpovedí na rovnaký prompt v rámci jedného volania API, a sekvencie zastavenia (stop sequences), ktoré určujú, kde sa generovanie zastaví. Prvý nástroj ti pomáha porovnávať alternatívy, zvyšuje šancu na získanie optimálnej odpovede alebo napája proces automatického výberu; druhý ti dáva kontrolu nad dĺžkou a formátom výstupov.
Parameter n: ako funguje
Keď nastavíš n=5, model vygeneruje 5 nezávislých odpovedí na tvoj prompt, pričom každá sa vráti ako samostatná voľba v odpovedi objektu. Jedna vec týkajúca sa fakturácie si zasluhuje tvoju pozornosť pred tým, než ju začneš hojne využívať: vstupné tokeny – tvoj prompt – sa fakturujú len raz, ale výstupné tokeny sa fakturujú za každé dokončenie. Pri n=5 platíš päťkrát za výstupné tokeny, ale len raz za prompt: pri dlhom prompte a krátkych odpovediach je to výrazne úspornejšie než päť samostatných volaní.
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose a slogan for a French organic coffee brand."}
],
n=5,
temperature=0.8
)
for i, choice in enumerate(response.choices):
print(f"Option {i+1}: {choice.message.content}")
Tento kód vyprodukuje 5 rôznych sloganov, z ktorých si vyberieš ten najlepší. Toto je prvé hlavné využitie n: kreatívne generovanie, kde získanie viacerých možností pre slogan, nadpis alebo názov produktu prevyšuje jeden jediný pokus. Druhým využitím je klasifikácia s hlasovaním: vygeneruješ N klasifikácií toho istého textu a ponecháš si odpoveď väčšiny, čo vyhladí občasné chyby. Používaš ho aj na prieskum – testovanie viacerých prístupov k rovnakému problému – a na kontrolu kvality porovnaním vlastných odpovedí modelu overením jeho konzistencie.
Pred nasadením si uvedom tri obmedzenia. Po prvé, nie všetky modely Mistral podporujú n väčšie ako 1: skontroluj dokumentáciu pre model, ktorý používaš. Po druhé, latencia sa zvyšuje s hodnotou n, keďže model generuje celkovo viac tokenov. Nakoniec – a toto je klasická chyba začiatočníkov – vždy kombinuj n > 1 s dostatočnou teplotou (0,5 a viac): pri teplote 0 budú tvoje päť odpovedí takmer identické a zaplatíš päťkrát za tú istú vetu.
Sekvencie zastavenia: kontrola miesta ukončenia generovania
Sekvencie zastavenia sú reťazce znakov, ktoré prinútia model zastaviť sa hneď, ako ich vygeneruje. Ide o kľúčový mechanizmus na kontrolu dĺžky a formátu odpovedí. Začnime zámerne zjednodušeným príkladom na objasnenie konceptu:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List the days of the week, one per line."}
],
stop=["Saturday"]
)
Tu sa model zastaví hneď, ako vygeneruje slovo „Saturday“, čím vznikne orezaný zoznam. V praxi sú sekvencie zastavenia najužitočnejšie pri štrukturálnych oddeľovačoch. Prvý prípad použitia: extrakcia jednej sekcie zo štruktúrovanej odpovede. Ak tvoj prompt vyžaduje analýzu v troch častiach, zastavenie generovania pri druhom nadpise ti poskytne len tú prvú:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": """Analyze this product:
## Strengths
(your analysis here)
## Weaknesses
(your analysis here)
## Conclusion
(your analysis here)"""}
],
stop=["## Weaknesses"]
)
# Model sa zastaví po časti o silných stránkach
Druhý prípad: obmedzenie generovania na blok JSON kombináciou sekvencie zastavenia s predvyplnením správy asistenta, ktoré otvorí zátvorku:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Return the metadata for this article in JSON."},
{"role": "assistant", "content": "{", "prefix": True}
],
stop=["}"]
)
# Model vygeneruje obsah JSON a zastaví sa pri uzatváracej zátvorke
Tretí prípad: zabránenie modelu v pokračovaní po jeho odpovedi. Pri uzavretej otázke zastavenie pri prvom zalomení riadku zaručí strohé „ÁNO“ alebo „NIE“ bez odôvodnenia, ktoré si nevyžiadal:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Answer the following question with YES or NO only.\nIs the Earth round?"}
],
stop=["\n"]
)
Parameter max_tokens
Ako doplnok k sekvenciám zastavenia parameter max_tokens nastavuje pevný limit na počet výstupných tokenov:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Summarize the history of France."}
],
max_tokens=200
)
Sleduj jeho správanie: max_tokens oreže odpoveď náhle, potenciálne v polovici vety – tvoje zhrnutie môže skončiť slovami „a tak Napoleon“. Ber to ako bezpečnostnú sieť proti nekonečným odpovediam, nie ako primárny spôsob kontroly dĺžky. Na to uprednostni inštrukcie v prompte („odpovedz v 3 vetách“) v kombinácii s veľkorysým max_tokens.
Kombinovanie parametrov
Tieto mechanizmy vyniknú, keď sa použijú spoločne. Nasledujúci príklad generuje 5 rôznych nadpisov článkov, pričom každý je vďaka sekvencii zastavenia obmedzený na jeden riadok a ako poistka slúži strop 50 tokenov:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You generate blog article titles. One title per response."
},
{
"role": "user",
"content": "Theme: workplace productivity in 2026"
}
],
n=5,
temperature=0.8,
max_tokens=50,
stop=["\n"]
)
titres = [choice.message.content.strip() for choice in response.choices]
for i, titre in enumerate(titres):
print(f"{i+1}. {titre}")
Kľúčové poznatky
- Parameter
ngeneruje viacero odpovedí v jednom volaní (vstupné tokeny sa fakturujú raz) - Kombinuj
n > 1s dostatočnou teplotou, aby si dosiahol skutočné variácie - Sekvencie zastavenia ukončia generovanie pri konkrétnom oddeľovači
max_tokensje bezpečnostná sieť, nie primárna kontrola dĺžky- Kombinuj tieto parametre pre jemné riadenie generovania