Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Doplňky N a sekvence ukončení

Lekce 12 z 16 Aktualizováno 2. listopadu 2026 Začátečník
Na této stránce
  1. Generování více odpovědí v jediném požadavku
  2. Parametr n: jak funguje
  3. Sekvence ukončení: kontrola místa ukončení generování
  4. Parametr max_tokens
  5. Kombinace parametrů
  6. Klíčové poznatky

Generování více odpovědí v jediném požadavku

Na závěr této sekce o parametrech generování se podíváme na dva praktické nástroje řízení: parametr N completions (počet doplňků), který ti umožní vyžádat si více odpovědí na stejný prompt v rámci jediného volání API, a sekvence ukončení (stop sequences), které určují, kde generování skončí. První nástroj ti pomáhá porovnávat alternativy, zvyšovat šanci na získání optimální odpovědi nebo napájet proces automatického výběru; druhý ti dává kontrolu nad délkou a formátem výstupů.

Parametr n: jak funguje

Když nastavíš n=5, model vygeneruje 5 nezávislých odpovědí na tvůj prompt, přičemž každá je vrácena jako samostatná volba v objektu odpovědi. Před intenzivním využíváním této funkce věnuj pozornost jednomu aspektu fakturace: vstupní tokeny (tvůj prompt) jsou účtovány pouze jednou, ale výstupní tokeny jsou účtovány za každé dokončení. Při n=5 platíš pětinásobek za výstupní tokeny, ale pouze jednou za prompt: u dlouhého promptu a krátkých odpovědí je to výrazně úspornější než pět samostatných volání.

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Propose a slogan for a French organic coffee brand."}
    ],
    n=5,
    temperature=0.8
)

for i, choice in enumerate(response.choices):
    print(f"Option {i+1}: {choice.message.content}")

Tento kód vyprodukuje 5 různých sloganů, z nichž si vybereš ten nejlepší. To je první hlavní využití parametru n: kreativní generování, kde získání více možností pro slogan, nadpis nebo název produktu předčí jeden jediný pokus. Druhým využitím je klasifikace s hlasováním: vygeneruješ N klasifikací stejného textu a ponecháš si odpověď většiny, což vyhladí občasné chyby. Používáš jej také k průzkumu – testování několika přístupů ke stejnému problému – a ke kontrole kvality porovnáním vlastních odpovědí modelu za účelem ověření jeho konzistence.

Než nasadíš tuto funkci do provozu, měj na paměti tři omezení. Zaprvé, ne všechny modely Mistral podporují n větší než 1: zkontroluj dokumentaci pro model, který používáš. Zadruhé, latence roste s hodnotou n, protože model celkově generuje více tokenů. A konečně – toto je klasická chyba začátečníků – vždy kombinuj n > 1 s dostatečnou teplotou (0,5 a více): při teplotě 0 bude tvých pět odpovědí téměř totožných a zaplatíš pětinásobek za stejnou větu.

Sekvence ukončení: kontrola místa ukončení generování

Sekvence ukončení (stop sequences) jsou řetězce znaků, které donutí model zastavit generování, jakmile je vytvoří. Jedná se o zásadní mechanismus pro kontrolu délky a formátu odpovědí. Začněme záměrně zjednodušeným příkladem pro objasnění konceptu:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "List the days of the week, one per line."}
    ],
    stop=["Saturday"]
)

Zde se model zastaví, jakmile vygeneruje slovo „Saturday“, čímž vznikne useknutý seznam. V praxi jsou sekvence ukončení nejužitečnější při práci se strukturálními oddělovači. První případ použití: extrakce jedné sekce ze strukturované odpovědi. Pokud tvůj prompt požaduje analýzu ve třech částech, zastavení generování u druhého nadpisu ti poskytne pouze tu první:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": """Analyze this product:
## Strengths
(your analysis here)
## Weaknesses
(your analysis here)
## Conclusion
(your analysis here)"""}
    ],
    stop=["## Weaknesses"]
)
# Model se zastaví po části o silných stránkách

Druhý případ: omezení generování na blok JSON kombinací sekvence ukončení s předvyplněním zprávy asistenta, které otevře složenou závorku:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Return the metadata for this article in JSON."},
        {"role": "assistant", "content": "{", "prefix": True}
    ],
    stop=["}"]
)
# Model vygeneruje obsah JSON a zastaví se u uzavírací závorky

Třetí případ: zabránění modelu v pokračování po jeho odpovědi. U uzavřené otázky zastavení u prvního zalomení řádku zaručí strohé „ANO“ nebo „NE“ bez odstavce s vysvětlením, který jsi nepožadoval:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Answer the following question with YES or NO only.\nIs the Earth round?"}
    ],
    stop=["\n"]
)

Parametr max_tokens

Jako doplněk k sekvencím ukončení nastavuje parametr max_tokens pevný limit na počet výstupních tokenů:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Summarize the history of France."}
    ],
    max_tokens=200
)

Sleduj jeho chování: max_tokens odpověď abruptně usekne, potenciálně uprostřed věty – tvé shrnutí může končit slovy „a tak Napoleon“. Považuj jej za bezpečnostní síť proti nekonečným odpovědím, nikoli jako primární způsob kontroly délky. Pro tu preferuj instrukce v promptu („odpověz ve 3 větách“) v kombinaci s velkorysým nastavením max_tokens.

Kombinace parametrů

Tyto mechanismy vyniknou, když jsou použity společně. Následující příklad generuje 5 různých nadpisů článků, z nichž každý je díky sekvenci ukončení omezen na jeden řádek, s 50tokenovým stropem jako pojistkou:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "You generate blog article titles. One title per response."
        },
        {
            "role": "user",
            "content": "Theme: workplace productivity in 2026"
        }
    ],
    n=5,
    temperature=0.8,
    max_tokens=50,
    stop=["\n"]
)

titres = [choice.message.content.strip() for choice in response.choices]
for i, titre in enumerate(titres):
    print(f"{i+1}. {titre}")

Klíčové poznatky

  • Parametr n generuje více odpovědí v jediném volání (vstupní tokeny jsou účtovány jednou)
  • Kombinuj n > 1 s dostatečnou teplotou, abys získal skutečné variace
  • Sekvence ukončení zastaví generování na konkrétním oddělovači
  • max_tokens je bezpečnostní síť, nikoli primární nástroj pro kontrolu délky
  • Kombinuj tyto parametry pro jemnou kontrolu generování