Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Järjestuste peatamine

Õppetund 7 / 16 Värskendatud 2. november 2026 Arendajatele
Sellel lehel
  1. Generatsiooni peatamine õigel hetkel
  2. Kuidas parameeter stop töötab
  3. Kolm tüüpilist kasutusjuhtu
  4. Peatamisjärjestuste ja voogedastuse kombineerimine
  5. Mehhanismi piirangud
  6. Kulukad vead
  7. Täielik näide: kontrollitud küsimused ja vastused
  8. Peamised punktid

Generatsiooni peatamine õigel hetkel

Vaikimisi lõpetab mudel töö ainult kahel põhjusel: ta otsustab, et vastus on valmis ja saadab lõputähise, või jõuab piiranguni max_tokens. Need kaks tingimust ei kata kõiki kasutusjuhte. Mõnikord tahad generatsiooni peatada punktis, mida tead ainult sina – vahetult enne dokumendi järgmist lõiku, kohe pärast JSON-ploki sulgemist või niipea, kui mudel hakkab lisama kommentaare, mida sul vaja pole.

Peatamisjärjestused (stop sequences) lisavad selle kolmanda tingimuse: niipea kui mudel toodab sinu määratud tekstijärjestuse, generatsioon peatub koheselt. Mõtle sellele kui täpsele lõikamisvahendile, mis täiendab loomulikult sinu süsteemsõnumis olevaid vormindusjuhiseid – mudel järgib neid hästi, kuid mitte alati veatult.

Kuidas parameeter stop töötab

Parameeter võtab vastu stringide loendi. Generatsioon lõpeb niipea, kui esimene neist väljundis ilmneb:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Loetle Prantsusmaa 10 suurimat linna."}
    ],
    stop=["6."]  # Peatu pärast esimest viit
)

print(response.choices[0].message.content)
# 1. Pariis
# 2. Marseille
# 3. Lyon
# 4. Toulouse
# 5. Nice

Selles näites paistavad silma kaks käitumismustrit. Peatamisjärjestust ei lisata vastusesse: saad teksti, mis eelneb sellele, ilma et peaksid ise midagi puhastama. Lisaks on finish_reason väärtuseks "stop", täpselt nagu loomuliku lõpetamise korral – API ei tee nende kahe vahel vahet, seega pead ise meeles pidama, mida sa taotlesid.

Kolm tüüpilist kasutusjuhtu

Esimene juhtum lahendab liiga jutuka mudeli probleemi. Küsid pealinna nime, aga vastuseks saad pealinna plusss kolm seletuslauset, mida sinu liides ei oodanud. Süsteemne vihje määrab kavatsuse; peatamisjärjestused sunnivad seda järgima:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Vasta ainult linna nimega, mitte millegi muuga."
        },
        {
            "role": "user",
            "content": "Mis on Itaalia pealinn?"
        }
    ],
    stop=["\n", ".", "Selgitus"]  # Peatu esimesel real vahetusel või punktil
)

print(response.choices[0].message.content.strip())
# Rooma

Teine juhtum hõlmab dokumentide genereerimist lõikude kaupa, kui soovid osade vahel kontrolli säilitada, selle asemel et lasta mudelil kogu raport korraga valmis kirjutada. Sa peatad genereerimise piiridel, mis annavad märku järgmisest osast:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Kirjuta raporti sissejuhatuse osa."
        },
        {
            "role": "user",
            "content": "Teema: tehisintellekti mõju tööhõivele Euroopas."
        }
    ],
    stop=["## ", "---", "Kokkuvõte"]  # Peatu enne järgmist lõiku
)

Kolmas juhtum on praktikas kõige kuluefektiivsem: kasutatava JSON-i eraldamine ilma puhastusetapita. Mudelitel on kalduvus mähkida oma väljund seletavasse teksti, mis rikub json.loads() funktsiooni; lõikamine topelt-real vahetuse või kolme tagurpidi komakoha juures kõrvaldab probleemi juba algallikas.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Vasta ainult kehtiva JSON-iga."
        },
        {
            "role": "user",
            "content": "Anna mulle info Pariisi kohta: rahvaarv, riik, ajavöönd."
        }
    ],
    stop=["\n\n", "```"]  # Peatu pärast JSON-plokki
)

Peatamisjärjestuste ja voogedastuse kombineerimine

Miski ei takista sul mõlemat mehhanismi kombineerimast: voog peatub niipea, kui genereeritud tekstist leitakse üks peatamisjärjestustest, ja seni saadud tükid jäävad kehtivaks.

stream = client.chat.stream(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Räägi lühike lugu."}
    ],
    stop=["Lõpp.", "THE END", "---"]
)

full_text = ""
for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        full_text += content
        print(content, end="", flush=True)

print(f"\n\nTekst: {len(full_text)} tähemärki")

Mehhanismi piirangud

Parameetri stop kasutamist reguleerivad neli piirangut. Ühes päringus saad esitada maksimaalselt neli järjestust, mis sunnib sind valima kõige eristuvamad, selle asemel et neid kuhjata. Need on tõstutundlikud: "lõpp" ei püüa kunagi kinni "Lõpp", seega pead arvestama oluliste variatsioonidega. Järjestust ei lisata kunagi vastusesse, mis on oluline, kui sinu oodatav vorming lõpeb just selle piirijaga. Lõpuks toimub tuvastamine tokenite kaupa: kui sinu järjestus jääb tokeni keskele, jääb see märkamata – veel üks põhjus eelistada mitmetähemärgilisi piirijaid üksikutele sümbolitele.

Kulukad vead

Kõige levinum viga on liiga lühike järjestus, mis põhjustab enneaegset peatumist. Üksik punkt peatab generatsiooni esimeses lauses, mida ta näeb, isegi kui see on lühendi sees; sümmeetriline viga on valida string, mida mudel kunagi ei tooda – sel juhul parameeter ei toimi ja sa usud ekslikult, et oled seadnud kaitsepiirde.

# HALB: järjestus liiga lühike, enneaegne peatumine
stop=["."]  # Peatub igas lauses!

# HEA: kontekstispetsiifiline järjestus
stop=[".\n\n"]  # Peatub pärast punkti, millele järgneb topelt-real vahetus

# HALB: järjestus, mida mudel kunagi ei tooda
stop=["XYZZY"]  # Ei oma mingit mõju

# HEA: realistlik järjestus, põhinedes oodataval vormingul
stop=["Järgmine küsimus:", "---"]

Nendest neljast reast tulenev reegel on lihtne: hea peatamisjärjestus tuleneb vormingust, mida palusid mudelil kasutada, mitte kunagi sinu fantaasiast.

Täielik näide: kontrollitud küsimused ja vastused

Paneme need elemendid kokku lühikeseks küsimuste ja vastuste funktsiooniks, kus madal temperatuur tagab faktilise stabiilsuse, max_tokens seab ohutuslae ja peatamisjärjestused lõikavad ära kommentaarid, mida mudel võiks pärast vastust lisada:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

def ask_single_question(question: str) -> str:
    """Esita küsimus ja saa kokkuvõtlik vastus ilma jututa."""
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[
            {
                "role": "system",
                "content": "Vasta ühe lausega, otsekoheselt ja faktiliselt."
            },
            {"role": "user", "content": question}
        ],
        max_tokens=100,
        stop=["\n\n", "Märkus:", "NB:"],
        temperature=0.1
    )

    return response.choices[0].message.content.strip()

# Test
questions = [
    "Mis on valguse kiirus?",
    "Kes leiutas telefoni?",
    "Mitu planeeti on päikesesüsteemis?"
]

for q in questions:
    print(f"K: {q}")
    print(f"V: {ask_single_question(q)}\n")

Käivita see skript üks kord sellisena ja teine kord pärast parameetri stop eemaldamist: kahe väljundi võrdlemine näitab sulle täpselt, mida need kolm järjestust välja filtreerivad.

Peamised punktid

  • Peatamisjärjestused peatavad generatsiooni, kui mudel toodab kindla teksti
  • Maksimaalselt 4 järjestust päringu kohta; tõstutundlik
  • Peatamisjärjestust ei lisata kunagi vastusesse
  • Kasuta piisavalt spetsiifilisi järjestusi, et vältida enneaegset peatumist
  • Ühilduv voogedastuse ja kõigi teiste parameetritega