Spring til hovedindhold
Dansk— Vælg et sprog
Menu

N Completions og Stop-sekvenser

Lektion 12 af 16 Opdateret 2. november 2026 Begynder
På denne side
  1. Generér flere svar i én enkelt anmodning
  2. Parameteren n: Sådan fungerer den
  3. Stop-sekvenser: Styr, hvor genereringen slutter
  4. Parameteren max_tokens
  5. Kombinér parametre
  6. Vigtige pointer

Generér flere svar i én enkelt anmodning

For at afrunde dette afsnit om genereringsparametre ser vi på to praktiske styringsværktøjer: parameteren N completions, som lader dig anmode om flere svar fra samme prompt i ét enkelt API-kald, og stop-sekvenser, som bestemmer, hvor genereringen stopper. Den første hjælper dig med at sammenligne alternativer, øge chancen for at få et optimalt svar eller fodre en automatisk udvælgelsesproces; den anden giver dig kontrol over længden og formatet på outputtet.

Parameteren n: Sådan fungerer den

Når du sætter n=5, genererer modellen 5 uafhængige svar på dit prompt, hvor hvert svar returneres som et distinkt valg i svarobjektet. Ét fakturaforhold fortjener din opmærksomhed, før du tager det i brug i stor stil: input-tokens – dit prompt – faktureres kun én gang, men output-tokens faktureres for hver completion. Med n=5 betaler du fem gange for output-tokens, men kun én gang for promptet: For et langt prompt og korte svar er dette betydeligt mere økonomisk end fem separate kald.

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Propose a slogan for a French organic coffee brand."}
    ],
    n=5,
    temperature=0.8
)

for i, choice in enumerate(response.choices):
    print(f"Option {i+1}: {choice.message.content}")

Denne kode producerer 5 forskellige slogans, hvorfra du vælger det bedste. Dette er den første store anvendelse af n: kreativ generering, hvor det at få flere muligheder for et slogan, en titel eller et produktnavn slår et enkelt forsøg. Den anden er klassificering med afstemning: Du genererer N klassificeringer af den samme tekst og beholder majoritetssvaret, hvilket udjævner lejlighedsvise fejl. Du bruger det også til udforskning – at teste flere tilgange til det samme problem – og til kvalitetskontrol ved at tjekke modellens konsistens ved at sammenligne dens egne svar.

Kend tre begrænsninger, før du tager det i brug. For det første understøtter ikke alle Mistral-modeller en n større end 1: Tjek dokumentationen for den model, du bruger. Dernæst stiger ventetiden (latency) med n, da modellen genererer flere tokens i alt. Endelig – og dette er en klassisk nybegynderfejl – skal du altid kombinere n > 1 med en tilstrækkelig temperatur (0,5 og opefter): Ved temperatur 0 vil dine fem svar være næsten identiske, og du vil have betalt fem gange for den samme sætning.

Stop-sekvenser: Styr, hvor genereringen slutter

Stop-sekvenser er tegnstrenge, der tvinger modellen til at stoppe, så snart den genererer dem. Dette er en essentiel mekanisme til at kontrollere længden og formatet på svar. Lad os starte med et bevidst simplificeret eksempel for at etablere konceptet:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "List the days of the week, one per line."}
    ],
    stop=["Saturday"]
)

Her stopper modellen, så snart den genererer ordet „Saturday”, hvilket producerer en trunkeret liste. I praksis er stop-sekvenser mest nyttige med strukturelle afgrænsere. Første brugstilfælde: Uddrag et enkelt afsnit fra et struktureret svar. Hvis dit prompt anmoder om en analyse i tre dele, vil stop af genereringen ved den anden overskrift give dig kun den første:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": """Analyze this product:
## Strengths
(your analysis here)
## Weaknesses
(your analysis here)
## Conclusion
(your analysis here)"""}
    ],
    stop=["## Weaknesses"]
)
# Modellen stopper efter styrkerne

Andet tilfælde: Begræns genereringen til en JSON-blok ved at kombinere stop-sekvensen med en præ-udfyldning af assistentens besked, der åbner krammen:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Return the metadata for this article in JSON."},
        {"role": "assistant", "content": "{", "prefix": True}
    ],
    stop=["}"]
)
# Modellen genererer JSON-indholdet og stopper ved den lukkende kramme

Tredje tilfælde: Forhindr modellen i at fortsætte efter sit svar. Til et lukket spørgsmål garanterer stop ved det første linjeskift et tørt „JA” eller „NEJ” uden et begrundelsesafsnit, som du ikke har bedt om:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Answer the following question with YES or NO only.\nIs the Earth round?"}
    ],
    stop=["\n"]
)

Parameteren max_tokens

Som supplement til stop-sekvenser sætter max_tokens en hård grænse for antallet af output-tokens:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Summarize the history of France."}
    ],
    max_tokens=200
)

Læg mærke til dens adfærd: max_tokens afbryder svaret brat, potentielt midt i en sætning – din opsummering kan ende med „og dermed Napoleon”. Betragt det som et sikkerhedsnet mod uendelige svar, ikke som den primære måde at kontrollere længden på. Foretræk i stedet instrukser i promptet („svar i 3 sætninger”) kombineret med en generøs max_tokens.

Kombinér parametre

Disse mekanismer skinner, når de bruges sammen. Følgende eksempel genererer 5 forskellige artikeloverskrifter, hvor hver er begrænset til én enkelt linje takket være stop-sekvensen, med et loft på 50 tokens som sikkerhed:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "You generate blog article titles. One title per response."
        },
        {
            "role": "user",
            "content": "Theme: workplace productivity in 2026"
        }
    ],
    n=5,
    temperature=0.8,
    max_tokens=50,
    stop=["\n"]
)

titres = [choice.message.content.strip() for choice in response.choices]
for i, titre in enumerate(titres):
    print(f"{i+1}. {titre}")

Vigtige pointer

  • Parameteren n genererer flere svar i ét enkelt kald (input-tokens faktureres kun én gang)
  • Kombinér n > 1 med tilstrækkelig temperatur for at få reelle variationer
  • Stop-sekvenser standser genereringen ved en specifik afgrænser
  • max_tokens er et sikkerhedsnet, ikke en primær længdekontrol
  • Kombinér disse parametre for finjusteret kontrol over genereringen