Zaporedja za ustavitev
Na tej strani
Ustavitev generiranja ob pravem trenutku
Privzeto se model ustavi le iz dveh razlogov: sam se odloči, da je končal svoj odgovor in odda svoj končni žeton, ali pa doseže zgornjo mejo max_tokens. Ta dva kriterija ne pokrivata vseh primerov uporabe. Včasih želiš, da se generiranje ustavi na točki, ki jo poznaš samo ti – tik pred naslednjim razdelkom dokumenta, takoj po zaključku bloka JSON ali brž ko model začne dodajati komentarje, ki jih ne potrebuješ.
Zaporedja za ustavitev (stop sequences) dodajo ta tretji kriterij: brž ko model ustvari besedilno zaporedje, ki si ga določil, se generiranje takoj ustavi. Razmišljaj o tem kot o natančnem orodju za rezanje, ki je naravni dopolnili navodilom za oblikovanje v tvojem sistemskem sporočilu; model jih sicer dobro upošteva, vendar ne vedno popolnoma.
Kako deluje parameter stop
Parameter sprejme seznam nizov. Generiranje se konča takoj, ko se v izpisu pojavi prvi izmed njih:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List the 10 largest cities in France."}
],
stop=["6."] # Stop after the first 5
)
print(response.choices[0].message.content)
# 1. Paris
# 2. Marseille
# 3. Lyon
# 4. Toulouse
# 5. Nice
V tem primeru izstopata dve vedenji. Zaporedje za ustavitev ni vključeno v odgovor: dobiš besedilo, ki mu sledi, brez potrebe po kakršnem koli čiščenju na tvoji strani. Poleg tega je finish_reason nastavljen na "stop", popolnoma enako kot pri naravni ustavitvi – API ne razlikuje med obema, zato si ti tisti, ki se mora spomniti, kaj si zahteval.
Trije tipični primeri uporabe
Prvi primer obravnava zgovoren model. Vprašaš za glavno mesto, on pa ti vrne glavno mesto plus tri stavke razlage, ki jih tvoj vmesnik ni pričakoval. Sistemski poziv določi namen, zaporedja za ustavitev pa ga uveljavijo:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Answer with only the city name, nothing else."
},
{
"role": "user",
"content": "What is the capital of Italy?"
}
],
stop=["\n", ".", "Explanation"] # Stop at the first newline or period
)
print(response.choices[0].message.content.strip())
# Rome
Drugi primer pokriva generiranje dokumentov razdelek za razdelkom, ko želiš ohraniti nadzor med deli, namesto da bi modelu dovolil, da ustvari celotno poročilo naenkrat. Ustaviš se na ločilih, ki signalizirajo, kaj sledi:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Write the Introduction section of a report."
},
{
"role": "user",
"content": "Topic: the impact of AI on employment in Europe."
}
],
stop=["## ", "---", "Conclusion"] # Stop before the next section
)
Tretji primer je v praksi najbolj stroškovno učinkovit: pridobivanje uporabnega JSON-a brez koraka čiščenja. Modeli imajo navado, da svoj izhod ovijejo v pojasnjevalno besedilo, kar poruši json.loads(); rezanje ob dvojnem novem redu ali trojnih obratnih poševnicah odpravi težavo že pri viru.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Respond only with valid JSON."
},
{
"role": "user",
"content": "Give me info for Paris: population, country, time zone."
}
],
stop=["\n\n", "```"] # Stop after the JSON block
)
Kombiniranje zaporedij za ustavitev in pretakanja
Nič ti ne preprečuje, da bi združil oba mehanizma: tok se ustavi takoj, ko je v generiranem besedilu zaznano eno od zaporedij za ustavitev, chunki, ki si jih že prejel, pa ostanejo veljavni.
stream = client.chat.stream(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Tell a short story."}
],
stop=["Fin.", "THE END", "---"]
)
full_text = ""
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
full_text += content
print(content, end="", flush=True)
print(f"\n\nText: {len(full_text)} characters")
Omejitve mehanizma
Uporabo parametra stop urejajo štiri omejitve. Na zahtevo lahko podaš največ štiri zaporedja, kar te prisili, da izbereš najbolj razločilna, namesto da bi jih kopičil. Občutljiva so na velikost črk: "end" nikoli ne bo ujela niza "End", zato moraš upoštevati različice, ki so pomembne. Zaporedje nikoli ni vključeno v odgovor, kar je pomembno, če se tvoja pričakovana oblika konča s tem ločilom. Nazadnje, zaznava poteka žeton za žetonom: če tvoje zaporedje pade sredi žetona, ostane neopaženo – še en razlog več, da izbereš večznakovna ločila namesto enojnega simbola.
Drage napake
Najpogostejša napaka je prekratko zaporedje, ki sproži prezgodnjo ustavitev. Sama pika ustavi generiranje ob prvem stavku, na katerega naleti, celo sredi okrajšave; simetrična napaka je izbira niza, ki ga model nikoli ne bo ustvaril, v tem primeru parameter ne stori ničesar, ti pa napačno verjameš, da si postavil varovalko.
# BAD: sequence too short, premature stops
stop=["."] # Stops at every sentence!
# GOOD: context-specific sequence
stop=[".\n\n"] # Stops after a period followed by a double newline
# BAD: sequence the model will never produce
stop=["XYZZY"] # Has no effect
# GOOD: realistic sequence based on expected format
stop=["Next question:", "---"]
Pravilo, ki izhaja iz teh štirih vrstic, je preprosto: dobro zaporedje za ustavitev izhaja iz oblike, ki si jo zahteval od modela, nikoli iz tvoje domišljije.
Celoten primer: nadzorovana vprašanja in odgovori
Združimo te elemente v kratko funkcijo za vprašanja in odgovore, kjer nizka temperatura zagotavlja dejansko stabilnost, max_tokens nastavlja varnostno zgornjo mejo, zaporedja za ustavitev pa odrežejo komentarje, ki bi jih model morda želel dodati za svojim odgovorom:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
def ask_single_question(question: str) -> str:
"""Ask a question and get a concise answer without chatter."""
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Answer in a single sentence, directly and factually."
},
{"role": "user", "content": question}
],
max_tokens=100,
stop=["\n\n", "Remark:", "Note:"],
temperature=0.1
)
return response.choices[0].message.content.strip()
# Test
questions = [
"What is the speed of light?",
"Who invented the telephone?",
"How many planets are in the solar system?"
]
for q in questions:
print(f"Q: {q}")
print(f"A: {ask_single_question(q)}\n")
Skripto zaženi enkrat tako, kot je, drugič pa po odstranitvi parametra stop: primerjava obeh izhodov ti bo natančno pokazala, kaj ta tri zaporedja filtrirajo.
Ključne ugotovitve
- Zaporedja za ustavitev ustavijo generiranje, ko model ustvari določeno besedilo
- Največ 4 zaporedja na zahtevo; občutljiva na velikost črk
- Zaporedje za ustavitev nikoli ni vključeno v odgovor
- Uporabi zaporedja, ki so dovolj specifična, da se izogneš prezgodnjim ustavitvam
- Združljivo s pretakanjem in vsemi drugimi parametri