Leállítási szekvenciák
Ezen az oldalon
A generálás leállítása a megfelelő pillanatban
Alapértelmezés szerint a modell csak két okból áll le: vagy úgy dönt, hogy befejezte a válaszát, és kibocsátja a végjelző tokent, vagy eléri a max_tokens felső határát. Ez a két kritérium nem fed le minden használati esetet. Néha olyan ponton szeretnéd leállítani a generálást, amit csak te ismersz – közvetlenül a dokumentum következő szakasza előtt, rögtön egy JSON-blokk lezárása után, vagy amint a modell felesleges kommentárokat kezd fűzni a válaszhoz.
A leállítási szekvenciák (stop sequences) ezt a harmadik kritériumot adják hozzá: amint a modell előáll egy általad meghatározott szövegrészlettel, a generálás azonnal megszakad. Tekints rá úgy, mint egy precíz vágószerszámra, amely a rendszerüzeneted formázási utasításait egészíti ki természetesen; ezeket a modell jól követi, de nem mindig tökéletesen.
Hogyan működik a stop paraméter
A paraméter karakterláncok listáját fogadja el. A generálás annál a szövegnél ér véget, amelyik először megjelenik a kimenetben:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List the 10 largest cities in France."}
],
stop=["6."] # Stop after the first 5
)
print(response.choices[0].message.content)
# 1. Paris
# 2. Marseille
# 3. Lyon
# 4. Toulouse
# 5. Nice
Ebben a példában két viselkedés emelkedik ki. A leállítási szekvencia nem szerepel a válaszban: csak az azt megelőző szöveget kapod meg, így nincs szükséged utólagos tisztításra. Emellett a finish_reason értéke "stop" lesz, pontosan úgy, mint egy természetes leállítás esetén – az API nem tesz különbséget a kettő között, tehát neked kell észben tartanod, mit kértél.
Három tipikus használati eset
Az első eset a beszélgetős modelleket kezeli. Megkérdezed a fővárost, mire a modell megadja a várost, plusz három mondatnyi magyarázatot, amire a felületed nem számít. A rendszerprompt meghatározza a szándékot; a leállítási szekvenciák pedig érvényesítik azt:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Answer with only the city name, nothing else."
},
{
"role": "user",
"content": "What is the capital of Italy?"
}
],
stop=["\n", ".", "Explanation"] # Stop at the first newline or period
)
print(response.choices[0].message.content.strip())
# Rome
A második eset a szakaszonkénti dokumentumgenerálást fedi le, amikor kontrollálni szeretnéd a részek közötti átmenetet, ahelyett, hogy hagynád a modellt egyben legenerálni az egész jelentést. Olyan elválasztójeleknél állítod le, amelyek jelzik, mi következik:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Write the Introduction section of a report."
},
{
"role": "user",
"content": "Topic: the impact of AI on employment in Europe."
}
],
stop=["## ", "---", "Conclusion"] # Stop before the next section
)
A harmadik eset a gyakorlatban a legköltséghatékonyabb: használható JSON kinyerése tisztítási lépés nélkül. A modellek hajlamosak magyarázó szöveggel körbevenni a kimenetüket, ami megtöri a json.loads() függvényt; ha dupla újelnél vagy három backticknél vágod le a választ, a problémát már a forrásnál megszünteted.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Respond only with valid JSON."
},
{
"role": "user",
"content": "Give me info for Paris: population, country, time zone."
}
],
stop=["\n\n", "```"] # Stop after the JSON block
)
Leállítási szekvenciák és streaming kombinálása
Semmi akadálya annak, hogy mindkét mechanizmust egyszerre alkalmazd: az adatfolyam (stream) abban a pillanatban megszakad, amint a generált szövegben észleli az egyik leállítási szekvenciát, a már fogadott chunkok pedig érvényesek maradnak.
stream = client.chat.stream(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Tell a short story."}
],
stop=["Fin.", "THE END", "---"]
)
full_text = ""
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
full_text += content
print(content, end="", flush=True)
print(f"\n\nText: {len(full_text)} characters")
A mechanizmus korlátai
Négy korlátozás szabályozza a stop paraméter használatát. Kérésenként legfeljebb négy szekvenciát adhatsz meg, ami arra kényszerít, hogy a legmegkülönböztetőbbeket válaszd ki, ahelyett, hogy halmozgatnád őket. Ezek kis- és nagybetűérzékenyek: az "end" sosem fogja elcsípni az "End" szót, így figyelembe kell venned a releváns változatokat. A szekvencia sosem kerül bele a válaszba, ami fontos, ha a várt formátum ezzel az elválasztójellel végződik. Végül az észlelés tokenenként történik: ha a szekvenciád egy token közepébe esik, a rendszer nem veszi észre – ez is arra utal, hogy inkább több karakterből álló elválasztókat válassz egyetlen szimbólum helyett.
Költséges hibák
A leggyakoribb hiba a túl rövid szekvencia használata, ami idő előtti leállást okoz. Egy magában álló pont már az első mondatnál leállítja a generálást, még akkor is, ha az egy rövidítés közepén van; a szimmetrikus hiba pedig olyan karakterlánc választása, amit a modell sosem fog előállítani – ekkor a paraméternek nincs hatása, és tévesen azt hiheted, hogy biztonsági korlátot állítottál be.
# ROSSZ: a szekvencia túl rövid, idő előtti leállást okoz
stop=["."] # Minden mondatnál leáll!
# JÓ: kontextus-specifikus szekvencia
stop=[".\n\n"] # Leáll egy pont után, amit dupla újelvonal követ
# ROSSZ: olyan szekvencia, amit a modell sosem állít elő
stop=["XYZZY"] # Nincs hatása
# JÓ: realisztikus szekvencia a várt formátum alapján
stop=["Next question:", "---"]
Ebből a négy sorból levonható szabály egyszerű: a jó leállítási szekvencia abból a formátumból származik, amit a modelltől kértél, sosem a saját fantáziádból.
Teljes példa: kontrollált kérdés-felelet
Állítsuk össze ezeket az elemeket egy rövid kérdés-felelet függvénnyé, ahol az alacsony hőmérséklet (temperature) biztosítja a ténybeli stabilitást, a max_tokens biztonsági felső határt szab, a leállítási szekvenciák pedig levágják azt a kommentárt, amit a modell a válasza után fűzhetne:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
def ask_single_question(question: str) -> str:
"""Ask a question and get a concise answer without chatter."""
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Answer in a single sentence, directly and factually."
},
{"role": "user", "content": question}
],
max_tokens=100,
stop=["\n\n", "Remark:", "Note:"],
temperature=0.1
)
return response.choices[0].message.content.strip()
# Test
questions = [
"What is the speed of light?",
"Who invented the telephone?",
"How many planets are in the solar system?"
]
for q in questions:
print(f"Q: {q}")
print(f"A: {ask_single_question(q)}\n")
Futtasd ezt a szkriptet egyszer így, majd másodszor a stop paraméter eltávolítása után: a két kimenet összehasonlítása pontosan megmutatja, mit szűrt ki az a három szekvencia.
Főbb megállapítások
- A leállítási szekvenciák megszakítják a generálást, amikor a modell előáll egy meghatározott szöveggel
- Kérésenként maximum 4 szekvencia adható meg; kis- és nagybetűérzékenyek
- A leállítási szekvencia sosem szerepel a válaszban
- Olyan szekvenciákat használj, amelyek elég specifikusak az idő előtti leállítás elkerüléséhez
- Kompatibilis a streaminggel és minden egyéb paraméterrel