Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Stopsekvenser

Lektion 7 af 16 Opdateret 2. november 2026 Udvikler
På denne side
  1. At stoppe genereringen på det rigtige tidspunkt
  2. Hvordan parameteren stop fungerer
  3. Tre typiske brugsscenarier
  4. Kombination af stopsekvenser og streaming
  5. Begrænsninger i mekanismen
  6. Dyre fejltagelser
  7. Komplet eksempel: Kontrolleret spørgsmål-svar
  8. Vigtige pointer

At stoppe genereringen på det rigtige tidspunkt

Som standard stopper modellen kun af to årsager: Den beslutter selv, at den er færdig med sit svar og sender sit slut-token, eller den rammer loftet for max_tokens. Disse to kriterier dækker ikke alle brugsscenarier. Nogle gange vil du have genereringen til at stoppe på et tidspunkt, kun du kender – lige før næste afsnit i et dokument, straks efter et JSON-blok lukkes, eller så snart modellen begynder at tilføje kommentarer, du ikke har brug for.

Stopsekvenser tilføjer dette tredje kriterium: Så snart modellen producerer en tekstsekvens, du har udpeget, standses genereringen øjeblikkeligt. Tænk på det som et præcist klippeværktøj, der er den naturlige complemento til formateringsinstruktionerne i din systembesked, som modellen følger godt, men ikke altid perfekt.

Hvordan parameteren stop fungerer

Parameteren accepterer en liste af strenge. Den første, der dukker op i outputtet, afslutter genereringen:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "List the 10 largest cities in France."}
    ],
    stop=["6."]  # Stop after the first 5
)

print(response.choices[0].message.content)
# 1. Paris
# 2. Marseille
# 3. Lyon
# 4. Toulouse
# 5. Nice

To adfærdsmønstre skiller sig ud i dette eksempel. Stopsekvensen inkluderes ikke i svaret: Du får teksten, der går forud for den, uden at du behøver at rydde op bagefter. Og finish_reason er "stop", præcis som ved en naturlig stop – API’et skelner ikke mellem de to, så det er op til dig at huske, hvad du har anmodet om.

Tre typiske brugsscenarier

Det første tilfælde håndterer den snakkesalige model. Du spørger om en hovedstad, og den giver dig hovedstaden plus tre sætninger med forklaring, som din grænseflade ikke forventede. System-prompten sætter intentionen; stopsekvenser håndhæver den:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Answer with only the city name, nothing else."
        },
        {
            "role": "user",
            "content": "What is the capital of Italy?"
        }
    ],
    stop=["\n", ".", "Explanation"]  # Stop at the first newline or period
)

print(response.choices[0].message.content.strip())
# Rome

Det andet tilfælde dækker dokumentgenerering afsnit for afsnit, når du vil beholde kontrollen mellem dele i stedet for at lade modellen producere en hel rapport på én gang. Du stopper ved de afgrænsere, der signalerer, hvad der kommer næste:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Write the Introduction section of a report."
        },
        {
            "role": "user",
            "content": "Topic: the impact of AI on employment in Europe."
        }
    ],
    stop=["## ", "---", "Conclusion"]  # Stop before the next section
)

Det tredje tilfælde er i praksis det mest omkostningseffektive: Udtrækning af brugbar JSON uden et oprydningsstep. Modeller har en tendens til at pakke deres output ind i forklarende tekst, hvilket ødelægger json.loads(); at klippe ved et dobbelt linjeskift eller triple backticks eliminerer problemet ved kilden.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Respond only with valid JSON."
        },
        {
            "role": "user",
            "content": "Give me info for Paris: population, country, time zone."
        }
    ],
    stop=["\n\n", "```"]  # Stop after the JSON block
)

Kombination af stopsekvenser og streaming

Intet hindrer dig i at kombinere begge mekanismer: Strømmen stopper, så snart en af stopsekvenserne opdages i den genererede tekst, og de chunks, du allerede har modtaget, forbliver gyldige.

stream = client.chat.stream(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Tell a short story."}
    ],
    stop=["Fin.", "THE END", "---"]
)

full_text = ""
for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        full_text += content
        print(content, end="", flush=True)

print(f"\n\nText: {len(full_text)} characters")

Begrænsninger i mekanismen

Fire begrænsninger styrer brugen af parameteren stop. Du kan maksimalt angive fire sekvenser pr. anmodning, hvilket tvinger dig til at vælge de mest diskriminerende i stedet for at ophobe dem. De er versalfølsomme: "end" vil aldrig fange "End", så du skal tage højde for de varianter, der betyder noget. Sekvensen inkluderes aldrig i svaret, hvilket er vigtigt, hvis dit forventede format slutter med netop den afgrænser. Endelig sker detektering token for token: Hvis din sekvens falder midt i et token, går den ubemærket hen – endnu en grund til at vælge flertegetns-afgrænsere frem for et enkelt symbol.

Dyre fejltagelser

Den mest almindelige fejl er en sekvens, der er for kort, hvilket udløser for tidlige stop. Et enkelt punktum stopper genereringen ved den første sætning, den ser, selv midt i en forkortelse; den symmetriske fejl er at vælge en streng, som modellen aldrig vil producere, i hvilket tilfælde parameteren ikke gør noget, og du tror fejlagtigt, at du har sat en sikkerhedsforanstaltning på plads.

# BAD: sequence too short, premature stops
stop=["."]  # Stops at every sentence!

# GOOD: context-specific sequence
stop=[".\n\n"]  # Stops after a period followed by a double newline

# BAD: sequence the model will never produce
stop=["XYZZY"]  # Has no effect

# GOOD: realistic sequence based on expected format
stop=["Next question:", "---"]

Reglen, der følger af disse fire linjer, er enkel: En god stopsekvens udledes af det format, du har bedt modellen om at bruge, aldrig fra din egen fantasi.

Komplet eksempel: Kontrolleret spørgsmål-svar

Lad os samle disse elementer i en kort spørgsmål-svar-funktion, hvor en lav temperatur sikrer faktuel stabilitet, max_tokens sætter et sikkerhedsloft, og stopsekvenser klipper de kommentarer væk, som modellen kunne fristes til at tilføje efter sit svar:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

def ask_single_question(question: str) -> str:
    """Ask a question and get a concise answer without chatter."""
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[
            {
                "role": "system",
                "content": "Answer in a single sentence, directly and factually."
            },
            {"role": "user", "content": question}
        ],
        max_tokens=100,
        stop=["\n\n", "Remark:", "Note:"],
        temperature=0.1
    )

    return response.choices[0].message.content.strip()

# Test
questions = [
    "What is the speed of light?",
    "Who invented the telephone?",
    "How many planets are in the solar system?"
]

for q in questions:
    print(f"Q: {q}")
    print(f"A: {ask_single_question(q)}\n")

Kør dette script én gang, som det er, og derefter en anden gang efter at have fjernet parameteren stop: Ved at sammenligne de to output ser du præcis, hvad disse tre sekvenser filtrerer fra.

Vigtige pointer

  • Stopsekvenser standser genereringen, når modellen producerer specifik tekst
  • Maksimalt 4 sekvenser pr. anmodning; versalfølsomme
  • Stopsekvensen inkluderes aldrig i svaret
  • Brug sekvenser, der er specifikke nok til at undgå for tidlige stop
  • Kompatibel med streaming og alle andre parametre