Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Sekos stabdymui

Paskaita 7 iš 16 Atnaujinta 2026 m. lapkričio 2 d. Kūrėjas
Šiame puslapyje
  1. Generavimo sustabdymas tinkamu momentu
  2. Kaip veikia parametras stop
  3. Trys tipiniai naudojimo atvejai
  4. Sekų stabdymui ir srautinio perdavimo derinimas
  5. Mechanizmo apribojimai
  6. Brangiai kainuojančios klaidos
  7. Pilnas pavyzdys: valdomas klausimų ir atsakymų režimas
  8. Svarbiausi punktai

Generavimo sustabdymas tinkamu momentu

Pagal nutylėjimą modelis sustoja tik dėl dviejų priežasčių: jis pats nusprendžia baigęs atsakymą ir išsiunčia pabaigos žymenį, arba pasiekia max_tokens ribą. Šie du kriterijai neapima visų naudojimo atvejų. Kartais nori, kad generavimas sustotų taške, kurį žinai tik tu – tiesiai prieš kitą dokumento skyrių, iškart užsivėrus JSON blokui arba vos modeliui pradėjus dėstyti komentarus, kurių tau nereikia.

Sekos stabdymui (stop sequences) suteikia šį trečią kriterijų: kai tik modelis sugeneruoja tavo nustatytą teksto seką, generavimas akimirksniu sustoja. Įsivaizduok tai kaip tikslų pjovimo įrankį, kuris natūraliai papildo formatavimo instrukcijas tavo sistemos žinutėje – modelis jų laikosi gerai, bet ne visada tobulai.

Kaip veikia parametras stop

Šis parametras priima eilučių sąrašą. Generavimas baigiasi ties pirmąja iš jų, pasirodžiusia išvestyje:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Išvardink 10 didžiausių Prancūzijos miestų."}
    ],
    stop=["6."]  # Sustabdyti po pirmųjų 5
)

print(response.choices[0].message.content)
# 1. Paryžius
# 2. Marselis
# 3. Lionas
# 4. Tulūza
# 5. Nica

Šiame pavyzdyje išryškėja du elgsenos aspektai. Stabdymo seka į atsakymą neįtraukiama: gauni tik jai prieš tai einantį tekstą, be jokio papildomo valymo tavo pusėje. Be to, finish_reason reikšmė yra "stop", lygiai taip pat, kaip ir natūraliai sustojus – API nedaro skirtumo tarp šių dviejų atvejų, todėl turi pats prisiminti, ko paprašei.

Trys tipiniai naudojimo atvejai

Pirmasis atvejis sprendžia „plepio“ modelio problemą. Paklausiate sostinės, o jis pateikia ne tik miestą, bet ir tris sakiniais paaiškinimo, ko tavo sąsaja nesitikėjo. Sistemos promptas nustato ketinimą, o sekos stabdymui jį įgyvendina:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Atsakyk tik miesto pavadinimu, nieko daugiau."
        },
        {
            "role": "user",
            "content": "Kokia yra Italijos sostinė?"
        }
    ],
    stop=["\n", ".", "Paaiškinimas"]  # Sustabdyti ties pirmu naujos eilutės ženklu arba tašku
)

print(response.choices[0].message.content.strip())
# Roma

Antrasis atvejis taikomas dokumentų generavimui dalimis, kai nori išlaikyti kontrolę tarp dalių, o ne leisti modeliui sugeneruoti visos ataskaitos vienu ypu. Sustabdai ties skirtukais, signalizuojančiais, kas eina toliau:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Parašyk ataskaitos įvado skyrių."
        },
        {
            "role": "user",
            "content": "Tema: dirbtinio intelekto įtaka užimtumui Europoje."
        }
    ],
    stop=["## ", "---", "Išvada"]  # Sustabdyti prieš kitą skyrių
)

Trečiasis atvejis praktiškai yra pats ekonomiškiausias: naudojamo JSON išgavimas be valymo žingsnio. Modeliai linkę savo išvestį apgaubti aiškinamuoju tekstu, kas sulaužo json.loads(); pjovimas ties dvigubu naujos eilutės ženklu arba trigubais atvirkštiniais pasviraisiais brūkšniais pašalina problemą pačioje šaknyje.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Atsakyk tik galiojančiu JSON."
        },
        {
            "role": "user",
            "content": "Pateik informaciją apie Paryžių: gyventojų skaičių, šalį, laiko juostą."
        }
    ],
    stop=["\n\n", "```"]  # Sustabdyti po JSON bloko
)

Sekų stabdymui ir srautinio perdavimo derinimas

Niekas netrukdo derinti abu mechanizmus: srautas sustoja vos aptikus vieną iš stabdymo sekų sugeneruotame tekste, o jau gauti fragmentai lieka galiojantys.

stream = client.chat.stream(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Papasakok trumpą istoriją."}
    ],
    stop=["Pabaiga.", "THE END", "---"]
)

full_text = ""
for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        full_text += content
        print(content, end="", flush=True)

print(f"\n\nTekstas: {len(full_text)} simbolių")

Mechanizmo apribojimai

Parametro stop naudojimui galioja keturi apribojimai. Viename užklausos gali pateikti daugiausia keturias sekas, todėl turi rinktis pačias išskirtiniausias, o ne krauti jas vieną ant kitos. Jos yra jautrios raidžių dydžiui: "pabaiga" niekada nepagaus "Pabaiga", todėl turi numatyti svarbias variacijas. Seka niekada neįtraukiama į atsakymą, o tai svarbu, jei tavo tikimasis formatas baigiasi būtent tuo skirtuku. Galiausiai, aptikimas vyksta žymenų po žymens lygmeniu: jei tavo seka patenka į žymens vidurį, ji lieka nepastebėta – dar viena priežastis rinktis kelių simbolių skirtukus, o ne vieną simbolį.

Brangiai kainuojančios klaidos

Dažniausia klaida – per trumpa seka, sukelianti priešlaikinį sustojimą. Vienas taškas sustabdys generavimą ties pirmu pasitaikiusiu sakiniu, net jei jis yra santrumpos viduryje; simetriška klaida – pasirinkti eilutę, kurios modelis niekada nesugeneruos; tokiu atveju parametras nieko neveikia, o tu klaidingai manai nustatęs apsaugą.

# BLOGAI: seka per trumpa, priešlaikiniai sustojimai
stop=["."]  # Sustabdo po kiekvieno sakinio!

# GERAI: kontekstui specifinė seka
stop=[".\n\n"]  # Sustabdo po taško, kurį seka dvigubas naujos eilutės ženklas

# BLOGAI: seka, kurios modelis niekada nesugeneruos
stop=["XYZZY"]  # Neturi jokio poveikio

# GERAI: reali seka, pagrįsta tikimasiu formatu
stop=["Kitas klausimas:", "---"]

Iš šių keturių eilučių išplaukianti taisyklė paprasta: gera stabdymo seka kyla iš formato, kurio paprašei modelio naudoti, o ne iš tavo vaizduotės.

Pilnas pavyzdys: valdomas klausimų ir atsakymų režimas

Sujunkime šiuos elementus į trumpą klausimų ir atsakymų funkciją, kurioje žema temperatūra užtikrina faktinį stabilumą, max_tokens nustato saugos lubas, o sekos stabdymui nukerpa komentarus, kuriuos modelis galėtų pagundą pridėti po savo atsakymo:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

def ask_single_question(question: str) -> str:
    """Užduok klausimą ir gauk glaustą atsakymą be pašnekų."""
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[
            {
                "role": "system",
                "content": "Atsakyk vienu sakiniu, tiesiai ir faktiškai."
            },
            {"role": "user", "content": question}
        ],
        max_tokens=100,
        stop=["\n\n", "Pastaba:", "Nota:"],
        temperature=0.1
    )

    return response.choices[0].message.content.strip()

# Testas
questions = [
    "Koks yra šviesos greitis?",
    "Kas išrado telefoną?",
    "Kiek planetų yra Saulės sistemoje?"
]

for q in questions:
    print(f"K: {q}")
    print(f"A: {ask_single_question(q)}\n")

Paleisk šį scenarijų vieną kartą taip, kaip yra, o antrą kartą pašalinęs parametrą stop: palyginus abi išvestis, tiksliai pamatysi, ką šios trys sekos atfiltruoja.

Svarbiausi punktai

  • Sekos stabdymui sustabdo generavimą, kai modelis sugeneruoja konkretų tekstą
  • Daugiausia 4 sekos vienai užklausai; jautrios raidžių dydžiui
  • Stabdymo seka niekada neįtraukiama į atsakymą
  • Naudok pakankamai specifines sekas, kad išvengtum priešlaikinio sustojimo
  • Suderinama su srautiniu perdavimu ir visais kitais parametrais