N Completions og Stop-sekvenser
På denne side
Generér flere svar i én enkelt anmodning
For at afrunde dette afsnit om genereringsparametre ser vi på to praktiske styringsværktøjer: parameteren N completions, som lader dig anmode om flere svar fra samme prompt i ét enkelt API-kald, og stop-sekvenser, som bestemmer, hvor genereringen stopper. Den første hjælper dig med at sammenligne alternativer, øge chancen for at få et optimalt svar eller fodre en automatisk udvælgelsesproces; den anden giver dig kontrol over længden og formatet på outputtet.
Parameteren n: Sådan fungerer den
Når du sætter n=5, genererer modellen 5 uafhængige svar på dit prompt, hvor hvert svar returneres som et distinkt valg i svarobjektet. Ét fakturaforhold fortjener din opmærksomhed, før du tager det i brug i stor stil: input-tokens – dit prompt – faktureres kun én gang, men output-tokens faktureres for hver completion. Med n=5 betaler du fem gange for output-tokens, men kun én gang for promptet: For et langt prompt og korte svar er dette betydeligt mere økonomisk end fem separate kald.
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose a slogan for a French organic coffee brand."}
],
n=5,
temperature=0.8
)
for i, choice in enumerate(response.choices):
print(f"Option {i+1}: {choice.message.content}")
Denne kode producerer 5 forskellige slogans, hvorfra du vælger det bedste. Dette er den første store anvendelse af n: kreativ generering, hvor det at få flere muligheder for et slogan, en titel eller et produktnavn slår et enkelt forsøg. Den anden er klassificering med afstemning: Du genererer N klassificeringer af den samme tekst og beholder majoritetssvaret, hvilket udjævner lejlighedsvise fejl. Du bruger det også til udforskning – at teste flere tilgange til det samme problem – og til kvalitetskontrol ved at tjekke modellens konsistens ved at sammenligne dens egne svar.
Kend tre begrænsninger, før du tager det i brug. For det første understøtter ikke alle Mistral-modeller en n større end 1: Tjek dokumentationen for den model, du bruger. Dernæst stiger ventetiden (latency) med n, da modellen genererer flere tokens i alt. Endelig – og dette er en klassisk nybegynderfejl – skal du altid kombinere n > 1 med en tilstrækkelig temperatur (0,5 og opefter): Ved temperatur 0 vil dine fem svar være næsten identiske, og du vil have betalt fem gange for den samme sætning.
Stop-sekvenser: Styr, hvor genereringen slutter
Stop-sekvenser er tegnstrenge, der tvinger modellen til at stoppe, så snart den genererer dem. Dette er en essentiel mekanisme til at kontrollere længden og formatet på svar. Lad os starte med et bevidst simplificeret eksempel for at etablere konceptet:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List the days of the week, one per line."}
],
stop=["Saturday"]
)
Her stopper modellen, så snart den genererer ordet „Saturday”, hvilket producerer en trunkeret liste. I praksis er stop-sekvenser mest nyttige med strukturelle afgrænsere. Første brugstilfælde: Uddrag et enkelt afsnit fra et struktureret svar. Hvis dit prompt anmoder om en analyse i tre dele, vil stop af genereringen ved den anden overskrift give dig kun den første:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": """Analyze this product:
## Strengths
(your analysis here)
## Weaknesses
(your analysis here)
## Conclusion
(your analysis here)"""}
],
stop=["## Weaknesses"]
)
# Modellen stopper efter styrkerne
Andet tilfælde: Begræns genereringen til en JSON-blok ved at kombinere stop-sekvensen med en præ-udfyldning af assistentens besked, der åbner krammen:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Return the metadata for this article in JSON."},
{"role": "assistant", "content": "{", "prefix": True}
],
stop=["}"]
)
# Modellen genererer JSON-indholdet og stopper ved den lukkende kramme
Tredje tilfælde: Forhindr modellen i at fortsætte efter sit svar. Til et lukket spørgsmål garanterer stop ved det første linjeskift et tørt „JA” eller „NEJ” uden et begrundelsesafsnit, som du ikke har bedt om:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Answer the following question with YES or NO only.\nIs the Earth round?"}
],
stop=["\n"]
)
Parameteren max_tokens
Som supplement til stop-sekvenser sætter max_tokens en hård grænse for antallet af output-tokens:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Summarize the history of France."}
],
max_tokens=200
)
Læg mærke til dens adfærd: max_tokens afbryder svaret brat, potentielt midt i en sætning – din opsummering kan ende med „og dermed Napoleon”. Betragt det som et sikkerhedsnet mod uendelige svar, ikke som den primære måde at kontrollere længden på. Foretræk i stedet instrukser i promptet („svar i 3 sætninger”) kombineret med en generøs max_tokens.
Kombinér parametre
Disse mekanismer skinner, når de bruges sammen. Følgende eksempel genererer 5 forskellige artikeloverskrifter, hvor hver er begrænset til én enkelt linje takket være stop-sekvensen, med et loft på 50 tokens som sikkerhed:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You generate blog article titles. One title per response."
},
{
"role": "user",
"content": "Theme: workplace productivity in 2026"
}
],
n=5,
temperature=0.8,
max_tokens=50,
stop=["\n"]
)
titres = [choice.message.content.strip() for choice in response.choices]
for i, titre in enumerate(titres):
print(f"{i+1}. {titre}")
Vigtige pointer
- Parameteren
ngenererer flere svar i ét enkelt kald (input-tokens faktureres kun én gang) - Kombinér
n > 1med tilstrækkelig temperatur for at få reelle variationer - Stop-sekvenser standser genereringen ved en specifik afgrænser
max_tokenser et sikkerhedsnet, ikke en primær længdekontrol- Kombinér disse parametre for finjusteret kontrol over genereringen