Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Dokončenia N a sekvencie zastavenia

Lekcia 12 z 16 Aktualizované 2. novembra 2026 Začiatočník
Na tejto strane
  1. Generovanie viacerých odpovedí v jednej požiadavke
  2. Parameter n: ako funguje
  3. Sekvencie zastavenia: kontrola miesta ukončenia generovania
  4. Parameter max_tokens
  5. Kombinovanie parametrov
  6. Kľúčové poznatky

Generovanie viacerých odpovedí v jednej požiadavke

Na záver tejto sekcie o parametroch generovania sa pozrieme na dva praktické nástroje riadenia: parameter N completions (počet dokončení), ktorý ti umožňuje vyžiadať si viacero odpovedí na rovnaký prompt v rámci jedného volania API, a sekvencie zastavenia (stop sequences), ktoré určujú, kde sa generovanie zastaví. Prvý nástroj ti pomáha porovnávať alternatívy, zvyšuje šancu na získanie optimálnej odpovede alebo napája proces automatického výberu; druhý ti dáva kontrolu nad dĺžkou a formátom výstupov.

Parameter n: ako funguje

Keď nastavíš n=5, model vygeneruje 5 nezávislých odpovedí na tvoj prompt, pričom každá sa vráti ako samostatná voľba v odpovedi objektu. Jedna vec týkajúca sa fakturácie si zasluhuje tvoju pozornosť pred tým, než ju začneš hojne využívať: vstupné tokeny – tvoj prompt – sa fakturujú len raz, ale výstupné tokeny sa fakturujú za každé dokončenie. Pri n=5 platíš päťkrát za výstupné tokeny, ale len raz za prompt: pri dlhom prompte a krátkych odpovediach je to výrazne úspornejšie než päť samostatných volaní.

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Propose a slogan for a French organic coffee brand."}
    ],
    n=5,
    temperature=0.8
)

for i, choice in enumerate(response.choices):
    print(f"Option {i+1}: {choice.message.content}")

Tento kód vyprodukuje 5 rôznych sloganov, z ktorých si vyberieš ten najlepší. Toto je prvé hlavné využitie n: kreatívne generovanie, kde získanie viacerých možností pre slogan, nadpis alebo názov produktu prevyšuje jeden jediný pokus. Druhým využitím je klasifikácia s hlasovaním: vygeneruješ N klasifikácií toho istého textu a ponecháš si odpoveď väčšiny, čo vyhladí občasné chyby. Používaš ho aj na prieskum – testovanie viacerých prístupov k rovnakému problému – a na kontrolu kvality porovnaním vlastných odpovedí modelu overením jeho konzistencie.

Pred nasadením si uvedom tri obmedzenia. Po prvé, nie všetky modely Mistral podporujú n väčšie ako 1: skontroluj dokumentáciu pre model, ktorý používaš. Po druhé, latencia sa zvyšuje s hodnotou n, keďže model generuje celkovo viac tokenov. Nakoniec – a toto je klasická chyba začiatočníkov – vždy kombinuj n > 1 s dostatočnou teplotou (0,5 a viac): pri teplote 0 budú tvoje päť odpovedí takmer identické a zaplatíš päťkrát za tú istú vetu.

Sekvencie zastavenia: kontrola miesta ukončenia generovania

Sekvencie zastavenia sú reťazce znakov, ktoré prinútia model zastaviť sa hneď, ako ich vygeneruje. Ide o kľúčový mechanizmus na kontrolu dĺžky a formátu odpovedí. Začnime zámerne zjednodušeným príkladom na objasnenie konceptu:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "List the days of the week, one per line."}
    ],
    stop=["Saturday"]
)

Tu sa model zastaví hneď, ako vygeneruje slovo „Saturday“, čím vznikne orezaný zoznam. V praxi sú sekvencie zastavenia najužitočnejšie pri štrukturálnych oddeľovačoch. Prvý prípad použitia: extrakcia jednej sekcie zo štruktúrovanej odpovede. Ak tvoj prompt vyžaduje analýzu v troch častiach, zastavenie generovania pri druhom nadpise ti poskytne len tú prvú:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": """Analyze this product:
## Strengths
(your analysis here)
## Weaknesses
(your analysis here)
## Conclusion
(your analysis here)"""}
    ],
    stop=["## Weaknesses"]
)
# Model sa zastaví po časti o silných stránkach

Druhý prípad: obmedzenie generovania na blok JSON kombináciou sekvencie zastavenia s predvyplnením správy asistenta, ktoré otvorí zátvorku:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Return the metadata for this article in JSON."},
        {"role": "assistant", "content": "{", "prefix": True}
    ],
    stop=["}"]
)
# Model vygeneruje obsah JSON a zastaví sa pri uzatváracej zátvorke

Tretí prípad: zabránenie modelu v pokračovaní po jeho odpovedi. Pri uzavretej otázke zastavenie pri prvom zalomení riadku zaručí strohé „ÁNO“ alebo „NIE“ bez odôvodnenia, ktoré si nevyžiadal:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Answer the following question with YES or NO only.\nIs the Earth round?"}
    ],
    stop=["\n"]
)

Parameter max_tokens

Ako doplnok k sekvenciám zastavenia parameter max_tokens nastavuje pevný limit na počet výstupných tokenov:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Summarize the history of France."}
    ],
    max_tokens=200
)

Sleduj jeho správanie: max_tokens oreže odpoveď náhle, potenciálne v polovici vety – tvoje zhrnutie môže skončiť slovami „a tak Napoleon“. Ber to ako bezpečnostnú sieť proti nekonečným odpovediam, nie ako primárny spôsob kontroly dĺžky. Na to uprednostni inštrukcie v prompte („odpovedz v 3 vetách“) v kombinácii s veľkorysým max_tokens.

Kombinovanie parametrov

Tieto mechanizmy vyniknú, keď sa použijú spoločne. Nasledujúci príklad generuje 5 rôznych nadpisov článkov, pričom každý je vďaka sekvencii zastavenia obmedzený na jeden riadok a ako poistka slúži strop 50 tokenov:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "You generate blog article titles. One title per response."
        },
        {
            "role": "user",
            "content": "Theme: workplace productivity in 2026"
        }
    ],
    n=5,
    temperature=0.8,
    max_tokens=50,
    stop=["\n"]
)

titres = [choice.message.content.strip() for choice in response.choices]
for i, titre in enumerate(titres):
    print(f"{i+1}. {titre}")

Kľúčové poznatky

  • Parameter n generuje viacero odpovedí v jednom volaní (vstupné tokeny sa fakturujú raz)
  • Kombinuj n > 1 s dostatočnou teplotou, aby si dosiahol skutočné variácie
  • Sekvencie zastavenia ukončia generovanie pri konkrétnom oddeľovači
  • max_tokens je bezpečnostná sieť, nie primárna kontrola dĺžky
  • Kombinuj tieto parametre pre jemné riadenie generovania