Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Leállítási szekvenciák

7. lecke 16 közül Frissítve 2026. november 2. Fejlesztő
Ezen az oldalon
  1. A generálás leállítása a megfelelő pillanatban
  2. Hogyan működik a stop paraméter
  3. Három tipikus használati eset
  4. Leállítási szekvenciák és streaming kombinálása
  5. A mechanizmus korlátai
  6. Költséges hibák
  7. Teljes példa: kontrollált kérdés-felelet
  8. Főbb megállapítások

A generálás leállítása a megfelelő pillanatban

Alapértelmezés szerint a modell csak két okból áll le: vagy úgy dönt, hogy befejezte a válaszát, és kibocsátja a végjelző tokent, vagy eléri a max_tokens felső határát. Ez a két kritérium nem fed le minden használati esetet. Néha olyan ponton szeretnéd leállítani a generálást, amit csak te ismersz – közvetlenül a dokumentum következő szakasza előtt, rögtön egy JSON-blokk lezárása után, vagy amint a modell felesleges kommentárokat kezd fűzni a válaszhoz.

A leállítási szekvenciák (stop sequences) ezt a harmadik kritériumot adják hozzá: amint a modell előáll egy általad meghatározott szövegrészlettel, a generálás azonnal megszakad. Tekints rá úgy, mint egy precíz vágószerszámra, amely a rendszerüzeneted formázási utasításait egészíti ki természetesen; ezeket a modell jól követi, de nem mindig tökéletesen.

Hogyan működik a stop paraméter

A paraméter karakterláncok listáját fogadja el. A generálás annál a szövegnél ér véget, amelyik először megjelenik a kimenetben:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "List the 10 largest cities in France."}
    ],
    stop=["6."]  # Stop after the first 5
)

print(response.choices[0].message.content)
# 1. Paris
# 2. Marseille
# 3. Lyon
# 4. Toulouse
# 5. Nice

Ebben a példában két viselkedés emelkedik ki. A leállítási szekvencia nem szerepel a válaszban: csak az azt megelőző szöveget kapod meg, így nincs szükséged utólagos tisztításra. Emellett a finish_reason értéke "stop" lesz, pontosan úgy, mint egy természetes leállítás esetén – az API nem tesz különbséget a kettő között, tehát neked kell észben tartanod, mit kértél.

Három tipikus használati eset

Az első eset a beszélgetős modelleket kezeli. Megkérdezed a fővárost, mire a modell megadja a várost, plusz három mondatnyi magyarázatot, amire a felületed nem számít. A rendszerprompt meghatározza a szándékot; a leállítási szekvenciák pedig érvényesítik azt:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Answer with only the city name, nothing else."
        },
        {
            "role": "user",
            "content": "What is the capital of Italy?"
        }
    ],
    stop=["\n", ".", "Explanation"]  # Stop at the first newline or period
)

print(response.choices[0].message.content.strip())
# Rome

A második eset a szakaszonkénti dokumentumgenerálást fedi le, amikor kontrollálni szeretnéd a részek közötti átmenetet, ahelyett, hogy hagynád a modellt egyben legenerálni az egész jelentést. Olyan elválasztójeleknél állítod le, amelyek jelzik, mi következik:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Write the Introduction section of a report."
        },
        {
            "role": "user",
            "content": "Topic: the impact of AI on employment in Europe."
        }
    ],
    stop=["## ", "---", "Conclusion"]  # Stop before the next section
)

A harmadik eset a gyakorlatban a legköltséghatékonyabb: használható JSON kinyerése tisztítási lépés nélkül. A modellek hajlamosak magyarázó szöveggel körbevenni a kimenetüket, ami megtöri a json.loads() függvényt; ha dupla újelnél vagy három backticknél vágod le a választ, a problémát már a forrásnál megszünteted.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Respond only with valid JSON."
        },
        {
            "role": "user",
            "content": "Give me info for Paris: population, country, time zone."
        }
    ],
    stop=["\n\n", "```"]  # Stop after the JSON block
)

Leállítási szekvenciák és streaming kombinálása

Semmi akadálya annak, hogy mindkét mechanizmust egyszerre alkalmazd: az adatfolyam (stream) abban a pillanatban megszakad, amint a generált szövegben észleli az egyik leállítási szekvenciát, a már fogadott chunkok pedig érvényesek maradnak.

stream = client.chat.stream(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Tell a short story."}
    ],
    stop=["Fin.", "THE END", "---"]
)

full_text = ""
for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        full_text += content
        print(content, end="", flush=True)

print(f"\n\nText: {len(full_text)} characters")

A mechanizmus korlátai

Négy korlátozás szabályozza a stop paraméter használatát. Kérésenként legfeljebb négy szekvenciát adhatsz meg, ami arra kényszerít, hogy a legmegkülönböztetőbbeket válaszd ki, ahelyett, hogy halmozgatnád őket. Ezek kis- és nagybetűérzékenyek: az "end" sosem fogja elcsípni az "End" szót, így figyelembe kell venned a releváns változatokat. A szekvencia sosem kerül bele a válaszba, ami fontos, ha a várt formátum ezzel az elválasztójellel végződik. Végül az észlelés tokenenként történik: ha a szekvenciád egy token közepébe esik, a rendszer nem veszi észre – ez is arra utal, hogy inkább több karakterből álló elválasztókat válassz egyetlen szimbólum helyett.

Költséges hibák

A leggyakoribb hiba a túl rövid szekvencia használata, ami idő előtti leállást okoz. Egy magában álló pont már az első mondatnál leállítja a generálást, még akkor is, ha az egy rövidítés közepén van; a szimmetrikus hiba pedig olyan karakterlánc választása, amit a modell sosem fog előállítani – ekkor a paraméternek nincs hatása, és tévesen azt hiheted, hogy biztonsági korlátot állítottál be.

# ROSSZ: a szekvencia túl rövid, idő előtti leállást okoz
stop=["."]  # Minden mondatnál leáll!

# JÓ: kontextus-specifikus szekvencia
stop=[".\n\n"]  # Leáll egy pont után, amit dupla újelvonal követ

# ROSSZ: olyan szekvencia, amit a modell sosem állít elő
stop=["XYZZY"]  # Nincs hatása

# JÓ: realisztikus szekvencia a várt formátum alapján
stop=["Next question:", "---"]

Ebből a négy sorból levonható szabály egyszerű: a jó leállítási szekvencia abból a formátumból származik, amit a modelltől kértél, sosem a saját fantáziádból.

Teljes példa: kontrollált kérdés-felelet

Állítsuk össze ezeket az elemeket egy rövid kérdés-felelet függvénnyé, ahol az alacsony hőmérséklet (temperature) biztosítja a ténybeli stabilitást, a max_tokens biztonsági felső határt szab, a leállítási szekvenciák pedig levágják azt a kommentárt, amit a modell a válasza után fűzhetne:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

def ask_single_question(question: str) -> str:
    """Ask a question and get a concise answer without chatter."""
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[
            {
                "role": "system",
                "content": "Answer in a single sentence, directly and factually."
            },
            {"role": "user", "content": question}
        ],
        max_tokens=100,
        stop=["\n\n", "Remark:", "Note:"],
        temperature=0.1
    )

    return response.choices[0].message.content.strip()

# Test
questions = [
    "What is the speed of light?",
    "Who invented the telephone?",
    "How many planets are in the solar system?"
]

for q in questions:
    print(f"Q: {q}")
    print(f"A: {ask_single_question(q)}\n")

Futtasd ezt a szkriptet egyszer így, majd másodszor a stop paraméter eltávolítása után: a két kimenet összehasonlítása pontosan megmutatja, mit szűrt ki az a három szekvencia.

Főbb megállapítások

  • A leállítási szekvenciák megszakítják a generálást, amikor a modell előáll egy meghatározott szöveggel
  • Kérésenként maximum 4 szekvencia adható meg; kis- és nagybetűérzékenyek
  • A leállítási szekvencia sosem szerepel a válaszban
  • Olyan szekvenciákat használj, amelyek elég specifikusak az idő előtti leállítás elkerüléséhez
  • Kompatibilis a streaminggel és minden egyéb paraméterrel