Sekvencie zastavenia
Na tejto strane
Zastavenie generovania v správny okamih
Model sa štandardne zastaví len z dvoch dôvodov: sám rozhodne, že dokončil odpoveď a vydá svoj koncový token, alebo dosiahne strop max_tokens. Tieto dve kritériá nepokrývajú všetky prípady použitia. Niekedy chceš, aby sa generovanie zastavilo v bode, ktorý poznáš len ty – tesne pred ďalšou časťou dokumentu, hneď po uzavretí bloku JSON, alebo akonáhle model začne pridávať komentáre, ktoré nepotrebuješ.
Sekvencie zastavenia pridávajú toto tretie kritérium: akonáhle model vygeneruje textovú sekvenciu, ktorú si určil, generovanie sa okamžite zastaví. Predstav si to ako presný rezný nástroj, prirodzený doplnok k inštrukciám formátovania v tvojej systémovej správe, ktoré model dodržiava dobre, ale nie vždy dokonale.
Ako funguje parameter stop
Parameter prijíma zoznam reťazcov. Generovanie ukončí prvý z nich, ktorý sa objaví vo výstupe:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Vymenuj 10 najväčších miest vo Francúzsku."}
],
stop=["6."] # Zastaviť po prvých 5
)
print(response.choices[0].message.content)
# 1. Paríž
# 2. Marseille
# 3. Lyon
# 4. Toulouse
# 5. Nice
V tomto príklade vynikajú dve správania. Sekvencia zastavenia nie je zahrnutá v odpovedi: dostaneš text, ktorý jej predchádza, bez potreby ďalšieho čistenia na tvojej strane. A finish_reason má hodnotu "stop", presne ako pri prirodzenom zastavení – API nerozlišuje medzi týmito dvoma prípadmi, takže je na tebe, aby si si pamätal, čo si požadoval.
Tri typické prípady použitia
Prvý prípad rieši ukecaný model. Opýtaš sa na hlavné mesto a on ti dá hlavné mesto plus tri vety vysvetlenia, ktoré tvoje rozhranie neočakávalo. Systémový prompt nastavuje zámer; sekvencie zastavenia ho vynucujú:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Odpovedz len názvom mesta, nič iné."
},
{
"role": "user",
"content": "Aké je hlavné mesto Talianska?"
}
],
stop=["\n", ".", "Vysvetlenie"] # Zastaviť pri prvom novom riadku alebo bodke
)
print(response.choices[0].message.content.strip())
# Rím
Druhý prípad pokrýva generovanie dokumentov časť po časti, keď chceš mať kontrolu medzi jednotlivými časťami, namiesto toho, aby model vyprodukoval celú správu naraz. Zastavuješ sa na oddeľovačoch, ktoré signalizujú, čo príde ďalej:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Napíš úvodnú časť správy."
},
{
"role": "user",
"content": "Téma: vplyv umelej inteligencie na zamestnanosť v Európe."
}
],
stop=["## ", "---", "Záver"] # Zastaviť pred ďalšou časťou
)
Tretí prípad je v praxi najvýhodnejší z hľadiska nákladov: extrakcia použiteľného JSON bez kroku čistenia. Modely majú tendenciu obaľovať svoj výstup vysvetľujúcim textom, čo rozbíja json.loads(); orezanie pri dvojitom novom riadku alebo trojitých spätných lomkách eliminuje problém priamo u zdroja.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Odpovedz len platným JSON."
},
{
"role": "user",
"content": "Daj mi informácie o Paríži: počet obyvateľov, krajina, časové pásmo."
}
],
stop=["\n\n", "```"] # Zastaviť po bloku JSON
)
Kombinovanie sekvencií zastavenia a streamovania
Nič ti nebráni kombinovať oba mechanizmy: stream sa zastaví hneď, ako sa v generovanom texte zistí jedna zo sekvencií zastavenia, a chunky, ktoré si už prijal, zostávajú platné.
stream = client.chat.stream(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Rozprávaj krátky príbeh."}
],
stop=["Koniec.", "KONIEC", "---"]
)
full_text = ""
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
full_text += content
print(content, end="", flush=True)
print(f"\n\nText: {len(full_text)} znakov")
Obmedzenia mechanizmu
Používanie parametra stop riadia štyri obmedzenia. Na jednu požiadavku môžeš poskytnúť maximálne štyri sekvencie, čo ťa núti vybrať tie najrozlišujúcejšie, namiesto toho, aby si ich hromadil. Rozlišujú veľkosť písmen: "koniec" nikdy nezachytí "Koniec", takže musíš zohľadniť varianty, na ktorých záleží. Sekvencia nie je nikdy zahrnutá v odpovedi, čo je dôležité, ak tvoj očakávaný formát končí týmto oddeľovačom. Nakoniec, detekcia prebieha token po tokene: ak tvoja sekvencia spadne do stredu tokenu, zostane nepovšimnutá – ďalší dôvod, prečo voliť viacznakové oddeľovače namiesto jedného symbolu.
Nákladné chyby
Najčastejšou chybou je príliš krátka sekvencia, ktorá spúšťa predčasné zastavenia. Osamelá bodka zastaví generovanie pri prvej vete, ktorú uvidí, dokonca aj v strede skratky; symetrickou chybou je výber reťazca, ktorý model nikdy nevyprodukuje, v ktorom prípade parameter nič nerobí a ty si mylne myslíš, že si nastavil ochranné zábrany.
# ZLE: sekvencia príliš krátka, predčasné zastavenia
stop=["."] # Zastaví sa pri každej vete!
# DOBRE: kontextovo špecifická sekvencia
stop=[".\n\n"] # Zastaví po bodke nasledovanej dvojitým novým riadkom
# ZLE: sekvencia, ktorú model nikdy nevyprodukuje
stop=["XYZZY"] # Nemá žiadny účinok
# DOBRE: realistická sekvencia založená na očakávanom formáte
stop=["Ďalšia otázka:", "---"]
Pravidlo, ktoré z týchto štyroch riadkov vyplýva, je jednoduché: dobrá sekvencia zastavenia vychádza z formátu, ktorý si od modelu požadoval, nikdy z tvojej predstavivosti.
Kompletný príklad: kontrolovaná otázka a odpoveď
Poďme tieto prvky poskladať do krátkej funkcie typu otázka-odpoveď, kde nízka teplota zabezpečuje faktickú stabilitu, max_tokens nastavuje bezpečnostný strop a sekvencie zastavenia orezávajú komentáre, ktoré by model mohol mať chuť pridať po svojej odpovedi:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
def ask_single_question(question: str) -> str:
"""Opýtaj sa otázku a získaj stručnú odpoveď bez kecov."""
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Odpovedz jednou vetou, priamo a fakticky."
},
{"role": "user", "content": question}
],
max_tokens=100,
stop=["\n\n", "Poznámka:", "Note:"],
temperature=0.1
)
return response.choices[0].message.content.strip()
# Test
questions = [
"Aká je rýchlosť svetla?",
"Kto vynašiel telefón?",
"Koľko planét je v slnečnej sústave?"
]
for q in questions:
print(f"Q: {q}")
print(f"A: {ask_single_question(q)}\n")
Spusť tento skript raz tak, ako je, a druhýkrát po odstránení parametra stop: porovnanie dvoch výstupov ti presne ukáže, čo tieto tri sekvencie filtrujú von.
Kľúčové poznatky
- Sekvencie zastavenia haltujú generovanie, keď model vyprodukuje špecifický text
- Maximálne 4 sekvencie na požiadavku; rozlišujú veľkosť písmen
- Sekvencia zastavenia nie je nikdy zahrnutá v odpovedi
- Používaj sekvencie dostatočne špecifické, aby sa vyhli predčasným zastaveniam
- Kompatibilné so streamovaním a všetkými ostatnými parametrami