Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Sekvence ukončení

Lekce 7 z 16 Aktualizováno 2. listopadu 2026 Vývojář
Na této stránce
  1. Zastavení generování ve správný okamžik
  2. Jak funguje parametr stop
  3. Tři typické případy použití
  4. Kombinace sekvencí ukončení a streamování
  5. Omezení mechanismu
  6. Nákladné chyby
  7. Kompletní příklad: řízené otázky a odpovědi
  8. Klíčové poznatky

Zastavení generování ve správný okamžik

Ve výchozím nastavení se model zastaví pouze ze dvou důvodů: buď sám rozhodne, že dokončil svou odpověď a vydá svůj koncový token, nebo narazí na strop max_tokens. Tato dvě kritéria nepokrývají všechny případy použití. Někdy chceš, aby se generování zastavilo v bodě, který znáš jen ty – těsně před další částí dokumentu, hned po uzavření bloku JSON, nebo jakmile model začne přidávat komentáře, které nepotřebuješ.

Sekvence ukončení přidávají toto třetí kritérium: jakmile model vyprodukuje textovou sekvenci, kterou jsi určil, generování se okamžitě zastaví. Představ si to jako precizní řezný nástroj, který přirozeně doplňuje pokyny pro formátování v systémové zprávě; model je sice dodržuje dobře, ale ne vždy dokonale.

Jak funguje parametr stop

Tento parametr přijímá seznam řetězců. Generování ukončí ten první, který se ve výstupu objeví:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "List the 10 largest cities in France."}
    ],
    stop=["6."]  # Stop after the first 5
)

print(response.choices[0].message.content)
# 1. Paris
# 2. Marseille
# 3. Lyon
# 4. Toulouse
# 5. Nice

V tomto příkladu vynikají dvě chování. Sekvence ukončení není součástí odpovědi: dostaneš text, který jí předchází, a nemusíš nic čistit na své straně. Hodnota finish_reason je "stop", přesně jako u přirozeného zastavení – API mezi těmito dvěma případy nerozlišuje, takže je na tobě, abys pamatoval, co jsi požadoval.

Tři typické případy použití

První případ řeší upovídaný model. Zeptáš se na hlavní město a on ti odpoví názvem města plus třemi větami vysvětlení, které tvé rozhraní neočekávalo. Systémový prompt stanoví záměr; sekvence ukončení jej vynucují:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Answer with only the city name, nothing else."
        },
        {
            "role": "user",
            "content": "What is the capital of Italy?"
        }
    ],
    stop=["\n", ".", "Explanation"]  # Stop at the first newline or period
)

print(response.choices[0].message.content.strip())
# Rome

Druhý případ pokrývá generování dokumentů po částech, když chceš mít kontrolu mezi jednotlivými díly, místo abys nechal model vyprodukovat celou zprávu najednou. Zastavuješ se na oddělovačích, které signalizují, co přijde dál:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Write the Introduction section of a report."
        },
        {
            "role": "user",
            "content": "Topic: the impact of AI on employment in Europe."
        }
    ],
    stop=["## ", "---", "Conclusion"]  # Stop before the next section
)

Třetí případ je v praxi nejúspornější: extrakce použitelného JSON bez kroku čištění. Modely mají tendenci obalovat svůj výstup vysvětlujícím textem, což rozbíjí json.loads(); oříznutí na dvojitém novém řádku nebo trojitých zpětných lomítkách eliminuje problém přímo u zdroje.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Respond only with valid JSON."
        },
        {
            "role": "user",
            "content": "Give me info for Paris: population, country, time zone."
        }
    ],
    stop=["\n\n", "```"]  # Stop after the JSON block
)

Kombinace sekvencí ukončení a streamování

Nic ti nebrání kombinovat oba mechanismy: stream se zastaví, jakmile je v generovaném textu detekována jedna ze sekvencí ukončení, a chunky, které jsi již obdržel, zůstávají platné.

stream = client.chat.stream(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Tell a short story."}
    ],
    stop=["Fin.", "THE END", "---"]
)

full_text = ""
for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        full_text += content
        print(content, end="", flush=True)

print(f"\n\nText: {len(full_text)} characters")

Omezení mechanismu

Použití parametru stop řídí čtyři omezení. Na jeden požadavek můžeš poskytnout maximálně čtyři sekvence, což tě nutí vybrat ty nejrozlišující, místo abys je hromadil. Rozlišují velká a malá písmena: "end" nikdy nezachytí "End", takže musíš počítat s variantami, na kterých záleží. Sekvence nikdy není součástí odpovědi, což je důležité, pokud tvůj očekávaný formát tímto oddělovačem končí. Nakonec, detekce probíhá token po tokenu: pokud tvoje sekvence spadne doprostřed tokenu, zůstane bez povšimnutí – další důvod, proč volit víceznakové oddělovače místo jediného symbolu.

Nákladné chyby

Nejčastější chybou je příliš krátká sekvence, která spouští předčasné zastavení. Osamělá tečka zastaví generování u první věty, kterou uvidí, dokonce i uprostřed zkratky; symetrickou chybou je výběr řetězce, který model nikdy nevyprodukuje, v takovém případě parametr nic nedělá a ty mylně věříš, že jsi nastavil ochranné zábrany.

# BAD: sequence too short, premature stops
stop=["."]  # Stops at every sentence!

# GOOD: context-specific sequence
stop=[".\n\n"]  # Stops after a period followed by a double newline

# BAD: sequence the model will never produce
stop=["XYZZY"]  # Has no effect

# GOOD: realistic sequence based on expected format
stop=["Next question:", "---"]

Pravidlo, které z těchto čtyř řádků vyplývá, je jednoduché: dobrá sekvence ukončení vychází z formátu, který jsi modelu požadoval, nikdy z tvé představivosti.

Kompletní příklad: řízené otázky a odpovědi

Pojďme tyto prvky sestavit do krátké funkce pro otázky a odpovědi, kde nízká teplota zajišťuje faktickou stabilitu, max_tokens nastavuje bezpečnostní strop a sekvence ukončení ořezávají komentáře, které by model mohl být v pokušení přidat po své odpovědi:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

def ask_single_question(question: str) -> str:
    """Ask a question and get a concise answer without chatter."""
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[
            {
                "role": "system",
                "content": "Answer in a single sentence, directly and factually."
            },
            {"role": "user", "content": question}
        ],
        max_tokens=100,
        stop=["\n\n", "Remark:", "Note:"],
        temperature=0.1
    )

    return response.choices[0].message.content.strip()

# Test
questions = [
    "What is the speed of light?",
    "Who invented the telephone?",
    "How many planets are in the solar system?"
]

for q in questions:
    print(f"Q: {q}")
    print(f"A: {ask_single_question(q)}\n")

Spusť tento skript jednou tak, jak je, a podruhé po odstranění parametru stop: porovnání obou výstupů ti přesně ukáže, co tyto tři sekvence filtrují.

Klíčové poznatky

  • Sekvence ukončení zastaví generování, když model vyprodukuje specifický text
  • Maximálně 4 sekvence na požadavek; rozlišují velká a malá písmena
  • Sekvence ukončení není nikdy součástí odpovědi
  • Používej sekvence dostatečně specifické, aby se předešlo předčasnému zastavení
  • Kompatibilní se streamováním a všemi ostatními parametry