Ga naar hoofdinhoud
Nederlands— Kies een taal
Menu

Stop-sequenties

Les 7 van 16 Bijgewerkt op 2 november 2026 Ontwikkelaar
Op deze pagina
  1. Generatie op het juiste moment stoppen
  2. Hoe de parameter stop werkt
  3. Drie typische use cases
  4. Stop-sequenties en streaming combineren
  5. Beperkingen van het mechanisme
  6. Kostbare fouten
  7. Volledig voorbeeld: gecontroleerde Q&A
  8. Belangrijkste punten

Generatie op het juiste moment stoppen

Standaard stopt het model om slechts twee redenen: het besluit dat het zijn antwoord heeft voltooid en geeft zijn eindtoken af, of het bereikt het max_tokens-plafond. Deze twee criteria dekken niet elke use case. Soms wilt u dat de generatie stopt op een punt dat alleen u kent—net voor de volgende sectie van een document, direct nadat een JSON-blok sluit, of zodra het model commentaar begint toe te voegen dat u niet nodig hebt.

Stop-sequenties voegen dit derde criterium toe: zodra het model een tekstreeks produceert die u hebt aangewezen, stopt de generatie onmiddellijk. Zie het als een precisie-snijgereedschap, de natuurlijke aanvulling op de formatteringsinstructies in uw systeembericht, die het model goed volgt maar niet altijd perfect.

Hoe de parameter stop werkt

De parameter accepteert een lijst met strings. De eerste die in de uitvoer verschijnt, beëindigt de generatie:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "List the 10 largest cities in France."}
    ],
    stop=["6."]  # Stop after the first 5
)

print(response.choices[0].message.content)
# 1. Paris
# 2. Marseille
# 3. Lyon
# 4. Toulouse
# 5. Nice

Twee gedragingen vallen op in dit voorbeeld. De stop-sequentie is niet opgenomen in het antwoord: u krijgt de tekst die eraan voorafgaat, zonder dat u iets hoeft op te ruimen. En de finish_reason is "stop", precies zoals bij een natuurlijke stop—de API maakt geen onderscheid tussen de twee, dus het is aan u om te onthouden wat u hebt gevraagd.

Drie typische use cases

Het eerste geval behandelt het babbelzieke model. U vraagt om een hoofdstad en het geeft u de hoofdstad plus drie zinnen uitleg die uw interface niet verwachtte. De systeemprompt stelt de intentie; stop-sequenties dwingen deze af:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Answer with only the city name, nothing else."
        },
        {
            "role": "user",
            "content": "What is the capital of Italy?"
        }
    ],
    stop=["\n", ".", "Explanation"]  # Stop at the first newline or period
)

print(response.choices[0].message.content.strip())
# Rome

Het tweede geval betreft documentgeneratie sectie voor sectie, wanneer u de controle tussen de onderdelen wilt behouden in plaats van het model een heel rapport in één keer te laten produceren. U stopt op de scheidingstekens die aangeven wat er vervolgens komt:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Write the Introduction section of a report."
        },
        {
            "role": "user",
            "content": "Topic: the impact of AI on employment in Europe."
        }
    ],
    stop=["## ", "---", "Conclusion"]  # Stop before the next section
)

Het derde geval is in de praktijk het meest kosteneffectief: bruikbare JSON extraheren zonder opstap tot opschoning. Modellen hebben de neiging hun uitvoer in verklarende tekst te wikkelen, wat json.loads() breekt; snijden bij een dubbele nieuwe regel of drie backticks elimineert het probleem bij de bron.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Respond only with valid JSON."
        },
        {
            "role": "user",
            "content": "Give me info for Paris: population, country, time zone."
        }
    ],
    stop=["\n\n", "```"]  # Stop after the JSON block
)

Stop-sequenties en streaming combineren

Niets verhindert u om beide mechanismen te combineren: de stream stopt zodra een van de stop-sequenties in de gegenereerde tekst wordt gedetecteerd, en de chunks die u al hebt ontvangen, blijven geldig.

stream = client.chat.stream(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Tell a short story."}
    ],
    stop=["Fin.", "THE END", "---"]
)

full_text = ""
for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        full_text += content
        print(content, end="", flush=True)

print(f"\n\nText: {len(full_text)} characters")

Beperkingen van het mechanisme

Vier beperkingen regelen het gebruik van de parameter stop. U kunt maximaal vier sequenties per verzoek opgeven, wat u dwingt de meest onderscheidende te kiezen in plaats van ze op te stapelen. Ze zijn hoofdlettergevoelig: "end" zal nooit "End" vangen, dus u moet rekening houden met de varianten die ertoe doen. De sequentie is nooit opgenomen in het antwoord, wat van belang is als uw verwachte formaat eindigt met dat scheidingsteken. Tot slot gebeurt detectie token voor token: als uw sequentie in het midden van een token valt, blijft deze onopgemerkt—nog een reden om meertekenscheidingstekens te kiezen in plaats van een enkel symbool.

Kostbare fouten

De meest voorkomende fout is een sequentie die te kort is, wat voortijdig stoppen veroorzaakt. Een enkele punt stopt de generatie bij de eerste zin die hij ziet, zelfs midden in een afkorting; de symmetrische fout is het kiezen van een string die het model nooit zal produceren, in welk geval de parameter niets doet en u ten onrechte denkt dat u een veiligheidsmaatregel hebt ingesteld.

# BAD: sequence too short, premature stops
stop=["."]  # Stops at every sentence!

# GOOD: context-specific sequence
stop=[".\n\n"]  # Stops after a period followed by a double newline

# BAD: sequence the model will never produce
stop=["XYZZY"]  # Has no effect

# GOOD: realistic sequence based on expected format
stop=["Next question:", "---"]

De regel die uit deze vier regels volgt, is eenvoudig: een goede stop-sequentie is afgeleid van het formaat dat u het model hebt gevraagd te gebruiken, nooit uit uw verbeelding.

Volledig voorbeeld: gecontroleerde Q&A

Laten we deze elementen samenvoegen tot een korte vraag-en-antwoordfunctie, waarbij een lage temperatuur zorgt voor feitelijke stabiliteit, max_tokens een veiligheidsplafond instelt en stop-sequenties het commentaar afsnijden dat het model geneigd zou kunnen zijn na zijn antwoord toe te voegen:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

def ask_single_question(question: str) -> str:
    """Ask a question and get a concise answer without chatter."""
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[
            {
                "role": "system",
                "content": "Answer in a single sentence, directly and factually."
            },
            {"role": "user", "content": question}
        ],
        max_tokens=100,
        stop=["\n\n", "Remark:", "Note:"],
        temperature=0.1
    )

    return response.choices[0].message.content.strip()

# Test
questions = [
    "What is the speed of light?",
    "Who invented the telephone?",
    "How many planets are in the solar system?"
]

for q in questions:
    print(f"Q: {q}")
    print(f"A: {ask_single_question(q)}\n")

Voer dit script één keer uit zoals het is, en een tweede keer na het verwijderen van de parameter stop: het vergelijken van de twee uitvoeren laat u precies zien wat die drie sequenties eruit filteren.

Belangrijkste punten

  • Stop-sequenties stoppen de generatie wanneer het model specifieke tekst produceert
  • Maximum van 4 sequenties per verzoek; hoofdlettergevoelig
  • De stop-sequentie is nooit opgenomen in het antwoord
  • Gebruik sequenties die specifiek genoeg zijn om voortijdig stoppen te voorkomen
  • Compatibel met streaming en alle andere parameters