Sekvence ukončení
Na této stránce
Zastavení generování ve správný okamžik
Ve výchozím nastavení se model zastaví pouze ze dvou důvodů: buď sám rozhodne, že dokončil svou odpověď a vydá svůj koncový token, nebo narazí na strop max_tokens. Tato dvě kritéria nepokrývají všechny případy použití. Někdy chceš, aby se generování zastavilo v bodě, který znáš jen ty – těsně před další částí dokumentu, hned po uzavření bloku JSON, nebo jakmile model začne přidávat komentáře, které nepotřebuješ.
Sekvence ukončení přidávají toto třetí kritérium: jakmile model vyprodukuje textovou sekvenci, kterou jsi určil, generování se okamžitě zastaví. Představ si to jako precizní řezný nástroj, který přirozeně doplňuje pokyny pro formátování v systémové zprávě; model je sice dodržuje dobře, ale ne vždy dokonale.
Jak funguje parametr stop
Tento parametr přijímá seznam řetězců. Generování ukončí ten první, který se ve výstupu objeví:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List the 10 largest cities in France."}
],
stop=["6."] # Stop after the first 5
)
print(response.choices[0].message.content)
# 1. Paris
# 2. Marseille
# 3. Lyon
# 4. Toulouse
# 5. Nice
V tomto příkladu vynikají dvě chování. Sekvence ukončení není součástí odpovědi: dostaneš text, který jí předchází, a nemusíš nic čistit na své straně. Hodnota finish_reason je "stop", přesně jako u přirozeného zastavení – API mezi těmito dvěma případy nerozlišuje, takže je na tobě, abys pamatoval, co jsi požadoval.
Tři typické případy použití
První případ řeší upovídaný model. Zeptáš se na hlavní město a on ti odpoví názvem města plus třemi větami vysvětlení, které tvé rozhraní neočekávalo. Systémový prompt stanoví záměr; sekvence ukončení jej vynucují:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Answer with only the city name, nothing else."
},
{
"role": "user",
"content": "What is the capital of Italy?"
}
],
stop=["\n", ".", "Explanation"] # Stop at the first newline or period
)
print(response.choices[0].message.content.strip())
# Rome
Druhý případ pokrývá generování dokumentů po částech, když chceš mít kontrolu mezi jednotlivými díly, místo abys nechal model vyprodukovat celou zprávu najednou. Zastavuješ se na oddělovačích, které signalizují, co přijde dál:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Write the Introduction section of a report."
},
{
"role": "user",
"content": "Topic: the impact of AI on employment in Europe."
}
],
stop=["## ", "---", "Conclusion"] # Stop before the next section
)
Třetí případ je v praxi nejúspornější: extrakce použitelného JSON bez kroku čištění. Modely mají tendenci obalovat svůj výstup vysvětlujícím textem, což rozbíjí json.loads(); oříznutí na dvojitém novém řádku nebo trojitých zpětných lomítkách eliminuje problém přímo u zdroje.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Respond only with valid JSON."
},
{
"role": "user",
"content": "Give me info for Paris: population, country, time zone."
}
],
stop=["\n\n", "```"] # Stop after the JSON block
)
Kombinace sekvencí ukončení a streamování
Nic ti nebrání kombinovat oba mechanismy: stream se zastaví, jakmile je v generovaném textu detekována jedna ze sekvencí ukončení, a chunky, které jsi již obdržel, zůstávají platné.
stream = client.chat.stream(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Tell a short story."}
],
stop=["Fin.", "THE END", "---"]
)
full_text = ""
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
full_text += content
print(content, end="", flush=True)
print(f"\n\nText: {len(full_text)} characters")
Omezení mechanismu
Použití parametru stop řídí čtyři omezení. Na jeden požadavek můžeš poskytnout maximálně čtyři sekvence, což tě nutí vybrat ty nejrozlišující, místo abys je hromadil. Rozlišují velká a malá písmena: "end" nikdy nezachytí "End", takže musíš počítat s variantami, na kterých záleží. Sekvence nikdy není součástí odpovědi, což je důležité, pokud tvůj očekávaný formát tímto oddělovačem končí. Nakonec, detekce probíhá token po tokenu: pokud tvoje sekvence spadne doprostřed tokenu, zůstane bez povšimnutí – další důvod, proč volit víceznakové oddělovače místo jediného symbolu.
Nákladné chyby
Nejčastější chybou je příliš krátká sekvence, která spouští předčasné zastavení. Osamělá tečka zastaví generování u první věty, kterou uvidí, dokonce i uprostřed zkratky; symetrickou chybou je výběr řetězce, který model nikdy nevyprodukuje, v takovém případě parametr nic nedělá a ty mylně věříš, že jsi nastavil ochranné zábrany.
# BAD: sequence too short, premature stops
stop=["."] # Stops at every sentence!
# GOOD: context-specific sequence
stop=[".\n\n"] # Stops after a period followed by a double newline
# BAD: sequence the model will never produce
stop=["XYZZY"] # Has no effect
# GOOD: realistic sequence based on expected format
stop=["Next question:", "---"]
Pravidlo, které z těchto čtyř řádků vyplývá, je jednoduché: dobrá sekvence ukončení vychází z formátu, který jsi modelu požadoval, nikdy z tvé představivosti.
Kompletní příklad: řízené otázky a odpovědi
Pojďme tyto prvky sestavit do krátké funkce pro otázky a odpovědi, kde nízká teplota zajišťuje faktickou stabilitu, max_tokens nastavuje bezpečnostní strop a sekvence ukončení ořezávají komentáře, které by model mohl být v pokušení přidat po své odpovědi:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
def ask_single_question(question: str) -> str:
"""Ask a question and get a concise answer without chatter."""
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Answer in a single sentence, directly and factually."
},
{"role": "user", "content": question}
],
max_tokens=100,
stop=["\n\n", "Remark:", "Note:"],
temperature=0.1
)
return response.choices[0].message.content.strip()
# Test
questions = [
"What is the speed of light?",
"Who invented the telephone?",
"How many planets are in the solar system?"
]
for q in questions:
print(f"Q: {q}")
print(f"A: {ask_single_question(q)}\n")
Spusť tento skript jednou tak, jak je, a podruhé po odstranění parametru stop: porovnání obou výstupů ti přesně ukáže, co tyto tři sekvence filtrují.
Klíčové poznatky
- Sekvence ukončení zastaví generování, když model vyprodukuje specifický text
- Maximálně 4 sekvence na požadavek; rozlišují velká a malá písmena
- Sekvence ukončení není nikdy součástí odpovědi
- Používej sekvence dostatečně specifické, aby se předešlo předčasnému zastavení
- Kompatibilní se streamováním a všemi ostatními parametry