Sekos stabdymui
Šiame puslapyje
Generavimo sustabdymas tinkamu momentu
Pagal nutylėjimą modelis sustoja tik dėl dviejų priežasčių: jis pats nusprendžia baigęs atsakymą ir išsiunčia pabaigos žymenį, arba pasiekia max_tokens ribą. Šie du kriterijai neapima visų naudojimo atvejų. Kartais nori, kad generavimas sustotų taške, kurį žinai tik tu – tiesiai prieš kitą dokumento skyrių, iškart užsivėrus JSON blokui arba vos modeliui pradėjus dėstyti komentarus, kurių tau nereikia.
Sekos stabdymui (stop sequences) suteikia šį trečią kriterijų: kai tik modelis sugeneruoja tavo nustatytą teksto seką, generavimas akimirksniu sustoja. Įsivaizduok tai kaip tikslų pjovimo įrankį, kuris natūraliai papildo formatavimo instrukcijas tavo sistemos žinutėje – modelis jų laikosi gerai, bet ne visada tobulai.
Kaip veikia parametras stop
Šis parametras priima eilučių sąrašą. Generavimas baigiasi ties pirmąja iš jų, pasirodžiusia išvestyje:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Išvardink 10 didžiausių Prancūzijos miestų."}
],
stop=["6."] # Sustabdyti po pirmųjų 5
)
print(response.choices[0].message.content)
# 1. Paryžius
# 2. Marselis
# 3. Lionas
# 4. Tulūza
# 5. Nica
Šiame pavyzdyje išryškėja du elgsenos aspektai. Stabdymo seka į atsakymą neįtraukiama: gauni tik jai prieš tai einantį tekstą, be jokio papildomo valymo tavo pusėje. Be to, finish_reason reikšmė yra "stop", lygiai taip pat, kaip ir natūraliai sustojus – API nedaro skirtumo tarp šių dviejų atvejų, todėl turi pats prisiminti, ko paprašei.
Trys tipiniai naudojimo atvejai
Pirmasis atvejis sprendžia „plepio“ modelio problemą. Paklausiate sostinės, o jis pateikia ne tik miestą, bet ir tris sakiniais paaiškinimo, ko tavo sąsaja nesitikėjo. Sistemos promptas nustato ketinimą, o sekos stabdymui jį įgyvendina:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Atsakyk tik miesto pavadinimu, nieko daugiau."
},
{
"role": "user",
"content": "Kokia yra Italijos sostinė?"
}
],
stop=["\n", ".", "Paaiškinimas"] # Sustabdyti ties pirmu naujos eilutės ženklu arba tašku
)
print(response.choices[0].message.content.strip())
# Roma
Antrasis atvejis taikomas dokumentų generavimui dalimis, kai nori išlaikyti kontrolę tarp dalių, o ne leisti modeliui sugeneruoti visos ataskaitos vienu ypu. Sustabdai ties skirtukais, signalizuojančiais, kas eina toliau:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Parašyk ataskaitos įvado skyrių."
},
{
"role": "user",
"content": "Tema: dirbtinio intelekto įtaka užimtumui Europoje."
}
],
stop=["## ", "---", "Išvada"] # Sustabdyti prieš kitą skyrių
)
Trečiasis atvejis praktiškai yra pats ekonomiškiausias: naudojamo JSON išgavimas be valymo žingsnio. Modeliai linkę savo išvestį apgaubti aiškinamuoju tekstu, kas sulaužo json.loads(); pjovimas ties dvigubu naujos eilutės ženklu arba trigubais atvirkštiniais pasviraisiais brūkšniais pašalina problemą pačioje šaknyje.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Atsakyk tik galiojančiu JSON."
},
{
"role": "user",
"content": "Pateik informaciją apie Paryžių: gyventojų skaičių, šalį, laiko juostą."
}
],
stop=["\n\n", "```"] # Sustabdyti po JSON bloko
)
Sekų stabdymui ir srautinio perdavimo derinimas
Niekas netrukdo derinti abu mechanizmus: srautas sustoja vos aptikus vieną iš stabdymo sekų sugeneruotame tekste, o jau gauti fragmentai lieka galiojantys.
stream = client.chat.stream(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Papasakok trumpą istoriją."}
],
stop=["Pabaiga.", "THE END", "---"]
)
full_text = ""
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
full_text += content
print(content, end="", flush=True)
print(f"\n\nTekstas: {len(full_text)} simbolių")
Mechanizmo apribojimai
Parametro stop naudojimui galioja keturi apribojimai. Viename užklausos gali pateikti daugiausia keturias sekas, todėl turi rinktis pačias išskirtiniausias, o ne krauti jas vieną ant kitos. Jos yra jautrios raidžių dydžiui: "pabaiga" niekada nepagaus "Pabaiga", todėl turi numatyti svarbias variacijas. Seka niekada neįtraukiama į atsakymą, o tai svarbu, jei tavo tikimasis formatas baigiasi būtent tuo skirtuku. Galiausiai, aptikimas vyksta žymenų po žymens lygmeniu: jei tavo seka patenka į žymens vidurį, ji lieka nepastebėta – dar viena priežastis rinktis kelių simbolių skirtukus, o ne vieną simbolį.
Brangiai kainuojančios klaidos
Dažniausia klaida – per trumpa seka, sukelianti priešlaikinį sustojimą. Vienas taškas sustabdys generavimą ties pirmu pasitaikiusiu sakiniu, net jei jis yra santrumpos viduryje; simetriška klaida – pasirinkti eilutę, kurios modelis niekada nesugeneruos; tokiu atveju parametras nieko neveikia, o tu klaidingai manai nustatęs apsaugą.
# BLOGAI: seka per trumpa, priešlaikiniai sustojimai
stop=["."] # Sustabdo po kiekvieno sakinio!
# GERAI: kontekstui specifinė seka
stop=[".\n\n"] # Sustabdo po taško, kurį seka dvigubas naujos eilutės ženklas
# BLOGAI: seka, kurios modelis niekada nesugeneruos
stop=["XYZZY"] # Neturi jokio poveikio
# GERAI: reali seka, pagrįsta tikimasiu formatu
stop=["Kitas klausimas:", "---"]
Iš šių keturių eilučių išplaukianti taisyklė paprasta: gera stabdymo seka kyla iš formato, kurio paprašei modelio naudoti, o ne iš tavo vaizduotės.
Pilnas pavyzdys: valdomas klausimų ir atsakymų režimas
Sujunkime šiuos elementus į trumpą klausimų ir atsakymų funkciją, kurioje žema temperatūra užtikrina faktinį stabilumą, max_tokens nustato saugos lubas, o sekos stabdymui nukerpa komentarus, kuriuos modelis galėtų pagundą pridėti po savo atsakymo:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
def ask_single_question(question: str) -> str:
"""Užduok klausimą ir gauk glaustą atsakymą be pašnekų."""
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Atsakyk vienu sakiniu, tiesiai ir faktiškai."
},
{"role": "user", "content": question}
],
max_tokens=100,
stop=["\n\n", "Pastaba:", "Nota:"],
temperature=0.1
)
return response.choices[0].message.content.strip()
# Testas
questions = [
"Koks yra šviesos greitis?",
"Kas išrado telefoną?",
"Kiek planetų yra Saulės sistemoje?"
]
for q in questions:
print(f"K: {q}")
print(f"A: {ask_single_question(q)}\n")
Paleisk šį scenarijų vieną kartą taip, kaip yra, o antrą kartą pašalinęs parametrą stop: palyginus abi išvestis, tiksliai pamatysi, ką šios trys sekos atfiltruoja.
Svarbiausi punktai
- Sekos stabdymui sustabdo generavimą, kai modelis sugeneruoja konkretų tekstą
- Daugiausia 4 sekos vienai užklausai; jautrios raidžių dydžiui
- Stabdymo seka niekada neįtraukiama į atsakymą
- Naudok pakankamai specifines sekas, kad išvengtum priešlaikinio sustojimo
- Suderinama su srautiniu perdavimu ir visais kitais parametrais