Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Sekvences apturēšanai

Nodarbība 7 no 16 Atjaunota 2026. gada 2. novembris Programmētājs
Šajā lapā
  1. Ģenerēšanas apturēšana īstajā brīdī
  2. Kā darbojas parametrs stop
  3. Trīs tipiski lietošanas gadījumi
  4. Sekvenču apturēšanai un straumēšanas kombinēšana
  5. Mehānisma ierobežojumi
  6. Dārgas kļūdas
  7. Pilns piemērs: kontrolēts jautājumu un atbilžu cikls
  8. Galvenās atziņas

Ģenerēšanas apturēšana īstajā brīdī

Pēc noklusējuma modelis pārtrauc darbu tikai divu iemeslu dēļ: tas nolemj, ka ir pabeidzis atbildi un ģenerē beigu tokeni, vai arī sasniedz max_tokens griestus. Šie divi kritēriji neaptver visus lietošanas gadījumus. Reizēm vēlies, lai ģenerēšana apstātos brīdī, ko zini tikai tu — tieši pirms nākamās dokumenta sadaļas, tūlīt pēc JSON bloka aizvēršanas vai tiklīdz modelis sāk pievienot komentārus, kas tev nav vajadzīgi.

Sekvences apturēšanai (stop sequences) pievieno šo trešo kritēriju: tiklīdz modelis ģenerē tavu norādīto teksta sekvenci, ģenerēšana nekavējoties apstājas. Uztver to kā precīzu griešanas rīku, kas dabiski papildina formatēšanas instrukcijas tavā sistēmas ziņojumā; modelis tās ievēro labi, bet ne vienmēr perfekti.

Kā darbojas parametrs stop

Šis parametrs pieņem virkņu sarakstu. Ģenerēšanu pārtrauc pirmā virkne, kas parādās izvaddatos:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "List the 10 largest cities in France."}
    ],
    stop=["6."]  # Stop after the first 5
)

print(response.choices[0].message.content)
# 1. Paris
# 2. Marseille
# 3. Lyon
# 4. Toulouse
# 5. Nice

Šajā piemērā izceļas divas uzvedības īpatnības. Apturēšanas sekvence netiek iekļauta atbildē: tu saņem tikai tekstu, kas tai priekšā, bez nepieciešamības pēc papildu tīrīšanas. Turklāt finish_reason ir "stop", tieši tāpat kā dabiskas apturēšanas gadījumā — API neatšķir šos divus gadījumus, tāpēc tev pašam jāatceras, ko esi pieprasījis.

Trīs tipiski lietošanas gadījumi

Pirmais gadījums attiecas uz runīgajiem modeļiem. Tu jautā par galvaspilsētu, un tas nosauc gan pilsētu, gan pievieno trīs teikumus ar skaidrojumu, ko tava saskarne negaidīja. Sistēmas uzvedne nosaka nodomu, bet sekvences apturēšanai to izpilda:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Answer with only the city name, nothing else."
        },
        {
            "role": "user",
            "content": "What is the capital of Italy?"
        }
    ],
    stop=["\n", ".", "Explanation"]  # Stop at the first newline or period
)

print(response.choices[0].message.content.strip())
# Rome

Otrais gadījums attiecas uz dokumentu ģenerēšanu pa sadaļām, kad vēlies saglabāt kontroli starp daļām, nevis ļaut modelim vienā piegājienā uzģenerēt visu ziņojumu. Tu aptur ģenerēšanu pie atdalītājiem, kas signalizē, kas sekos tālāk:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Write the Introduction section of a report."
        },
        {
            "role": "user",
            "content": "Topic: the impact of AI on employment in Europe."
        }
    ],
    stop=["## ", "---", "Conclusion"]  # Stop before the next section
)

Trešais gadījums praksē ir visizdevīgākais: lietojama JSON iegūšana bez tīrīšanas solia. Modeļiem ir tendence ietvert izvadi skaidrojošā tekstā, kas lauž json.loads(); apturēšana pie dubultās jaunrindas vai trim atpakaļslīpsvītrām novērš problēmu jau tās rašanās brīdī.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Respond only with valid JSON."
        },
        {
            "role": "user",
            "content": "Give me info for Paris: population, country, time zone."
        }
    ],
    stop=["\n\n", "```"]  # Stop after the JSON block
)

Sekvenču apturēšanai un straumēšanas kombinēšana

Nekas neliedz apvienot abus mehānismus: straume apstājas, tiklīdz ģenerētajā tekstā tiek konstatēta kāda no apturēšanas sekvencēm, un jau saņemtie fragmenti paliek derīgi.

stream = client.chat.stream(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Tell a short story."}
    ],
    stop=["Fin.", "THE END", "---"]
)

full_text = ""
for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        full_text += content
        print(content, end="", flush=True)

print(f"\n\nText: {len(full_text)} characters")

Mehānisma ierobežojumi

Parametra stop lietošanu reglamentē četri ierobežojumi. Vienā pieprasījumā vari norādīt ne vairāk kā četras sekvences, kas liek izvēlēties visdiscriminējošākās, nevis tās vienkārši sakrāt. Tās ir reģistrjutīgas: "end" nekad nenotvers "End", tāpēc jāņem vērā nozīmīgie varianti. Sekvence nekad netiek iekļauta atbildē, kas ir svarīgi, ja tava sagaidāmā formāta beigās ir šis atdalītājs. Visbeidzot, noteikšana notiek pa tokeniem: ja tava sekvence iekrīt tokena vidū, tā paliek nepamanīta — vēl viens iemesls izvēlēties vairāku rakstzīmju atdalītājus, nevis vienu simbolu.

Dārgas kļūdas

Visbiežākā kļūda ir pārāk īsa sekvence, kas izraisa priekšlaicīgu apturēšanu. Viena punkta zīme aptur ģenerēšanu pie pirmā sastaptā teikuma, pat ja tas ir saīsinājuma vidū; simetriska kļūda ir tādas virknes izvēle, ko modelis nekad neģenerēs — šādā gadījumā parametram nav nekādas ietekmes, un tu kļūdaini uzskati, ka esi uzstādījis aizsargbarjeru.

# BAD: sequence too short, premature stops
stop=["."]  # Stops at every sentence!

# GOOD: context-specific sequence
stop=[".\n\n"]  # Stops after a period followed by a double newline

# BAD: sequence the model will never produce
stop=["XYZZY"]  # Has no effect

# GOOD: realistic sequence based on expected format
stop=["Next question:", "---"]

No šīm četrām rindām izriet vienkāršs likums: laba apturēšanas sekvence izriet no formāta, ko esi lūdzis modelim izmantot, nevis no tavas iztēles.

Pilns piemērs: kontrolēts jautājumu un atbilžu cikls

Apvienosim šos elementus īsā jautājumu un atbilžu funkcijā, kur zema temperatūra nodrošina faktu stabilitāti, max_tokens nosaka drošības griestus, bet sekvences apturēšanai nogriež komentārus, ko modelis varētu kārdināt pievienot pēc atbildes:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

def ask_single_question(question: str) -> str:
    """Ask a question and get a concise answer without chatter."""
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[
            {
                "role": "system",
                "content": "Answer in a single sentence, directly and factually."
            },
            {"role": "user", "content": question}
        ],
        max_tokens=100,
        stop=["\n\n", "Remark:", "Note:"],
        temperature=0.1
    )

    return response.choices[0].message.content.strip()

# Test
questions = [
    "What is the speed of light?",
    "Who invented the telephone?",
    "How many planets are in the solar system?"
]

for q in questions:
    print(f"Q: {q}")
    print(f"A: {ask_single_question(q)}\n")

Palaid šo skriptu vienu reizi tā, kā tas ir, un otro reizi pēc parametra stop noņemšanas: abu izvades salīdzināšana precīzi parādīs, ko šīs trīs sekvences filtrē.

Galvenās atziņas

  • Sekvences apturēšanai pārtrauc ģenerēšanu, kad modelis ģenerē konkrētu tekstu
  • Maksimums 4 sekvences vienā pieprasījumā; reģistrjutīgas
  • Apturēšanas sekvence nekad netiek iekļauta atbildē
  • Izmanto pietiekami specifiskas sekvences, lai izvairītos no priekšlaicīgas apturēšanas
  • Savietojamas ar straumēšanu un visiem pārējiem parametriem