N Completions en stop-sequenties
Op deze pagina
Meerdere antwoorden genereren in één verzoek
Om deze sectie over generatieparameters af te ronden, bekijken we twee praktische stuurmiddelen: de parameter N completions, waarmee u in één API-oproep meerdere antwoorden op dezelfde prompt kunt aanvragen, en stop-sequenties, die bepalen waar de generatie stopt. Het eerste hulpmiddel helpt u alternatieven te vergelijken, uw kans op een optimaal antwoord te vergroten of een automatisch selectieproces te voeden; het tweede geeft u controle over de lengte en het formaat van de uitvoer.
De parameter n: hoe het werkt
Wanneer u n=5 instelt, genereert het model 5 onafhankelijke antwoorden op uw prompt, die elk als een aparte keuze in het antwoordobject worden teruggegeven. Eén aspect van de facturatie verdient uw aandacht voordat u dit intensief gebruikt: input-tokens—uw prompt—worden slechts één keer gefactureerd, maar output-tokens worden voor elke completion gefactureerd. Bij n=5 betaalt u vijf keer voor output-tokens, maar slechts één keer voor de prompt: bij een lange prompt en korte antwoorden is dit aanzienlijk zuiniger dan vijf afzonderlijke oproepen.
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose a slogan for a French organic coffee brand."}
],
n=5,
temperature=0.8
)
for i, choice in enumerate(response.choices):
print(f"Option {i+1}: {choice.message.content}")
Deze code produceert 5 verschillende slogans, waaruit u de beste kiest. Dit is het eerste belangrijke gebruik van n: creatieve generatie, waarbij het verkrijgen van meerdere opties voor een slogan, titel of productnaam beter is dan één enkele poging. Het tweede gebruik is classificatie met stemming: u genereert N classificaties van dezelfde tekst en houdt het meerderheidsantwoord aan, wat incidentele fouten gladstrijkt. U gebruikt het ook voor exploratie—het testen van verschillende benaderingen voor hetzelfde probleem—en voor kwaliteitscontrole, door de consistentie van het model te controleren door zijn eigen antwoorden te vergelijken.
Ken drie beperkingen voordat u dit inzet. Ten eerste ondersteunen niet alle Mistral-modellen n groter dan 1: raadpleeg de documentatie voor het model dat u gebruikt. Vervolgens neemt de latentie toe met n, omdat het model in totaal meer tokens genereert. Tot slot—en dit is een klassieke beginnersfout—combineer n > 1 altijd met een voldoende hoge temperatuur (0,5 en hoger): bij temperatuur 0 zullen uw vijf antwoorden nagenoeg identiek zijn en heeft u vijf keer betaald voor dezelfde zin.
Stop-sequenties: controleer waar de generatie eindigt
Stop-sequenties zijn tekenreeksen die het model dwingen te stoppen zodra het deze genereert. Dit is een essentieel mechanisme om de lengte en het formaat van antwoorden te beheersen. Laten we beginnen met een bewust simplistisch voorbeeld om het concept vast te stellen:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List the days of the week, one per line."}
],
stop=["Saturday"]
)
Hier stopt het model zodra het het woord “Saturday” genereert, wat resulteert in een ingekorte lijst. In de praktijk zijn stop-sequenties het nuttigst bij structurele scheidingstekens. Eerste gebruiksscenario: extraheer een enkel gedeelte uit een gestructureerd antwoord. Als uw prompt een analyse in drie delen vraagt, geeft het stoppen van de generatie bij de tweede kop alleen het eerste deel:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": """Analyze this product:
## Strengths
(your analysis here)
## Weaknesses
(your analysis here)
## Conclusion
(your analysis here)"""}
],
stop=["## Weaknesses"]
)
# Het model stopt na de sterke punten
Tweede geval: beperk de generatie tot een JSON-blok, door de stop-sequentie te combineren met een vooraf ingevuld bericht van de assistent dat de haakje opent:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Return the metadata for this article in JSON."},
{"role": "assistant", "content": "{", "prefix": True}
],
stop=["}"]
)
# Het model genereert de JSON-inhoud en stopt bij de sluitende haakje
Derde geval: voorkom dat het model doorgaat na zijn antwoord. Voor een gesloten vraag garandeert stoppen bij de eerste regeleinde een droog “JA” of “NEE”, zonder een alinea met rechtvaardiging die u niet hebt gevraagd:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Answer the following question with YES or NO only.\nIs the Earth round?"}
],
stop=["\n"]
)
De parameter max_tokens
Als aanvulling op stop-sequenties stelt max_tokens een harde limiet in op het aantal output-tokens:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Summarize the history of France."}
],
max_tokens=200
)
Let op het gedrag: max_tokens kapt het antwoord abrupt af, mogelijk midden in een zin—uw samenvatting zou kunnen eindigen met “en zo Napoleon”. Beschouw het als een veiligheidsnet tegen eindeloze antwoorden, niet als de primaire manier om de lengte te beheersen. Geef daarvoor de voorkeur aan instructies in de prompt (“antwoord in 3 zinnen”) in combinatie met een royale max_tokens.
Parameters combineren
Deze mechanismen blinken uit wanneer ze samen worden gebruikt. Het volgende voorbeeld genereert 5 verschillende artikeltitels, elk beperkt tot één regel dankzij de stop-sequentie, met een plafond van 50 tokens als veiligheidsmaatregel:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You generate blog article titles. One title per response."
},
{
"role": "user",
"content": "Theme: workplace productivity in 2026"
}
],
n=5,
temperature=0.8,
max_tokens=50,
stop=["\n"]
)
titres = [choice.message.content.strip() for choice in response.choices]
for i, titre in enumerate(titres):
print(f"{i+1}. {titre}")
Belangrijkste punten
- De parameter
ngenereert meerdere antwoorden in één oproep (input-tokens worden één keer gefactureerd) - Combineer
n > 1met een voldoende hoge temperatuur om echte variaties te krijgen - Stop-sequenties onderbreken de generatie bij een specifiek scheidingsteken
max_tokensis een veiligheidsnet, geen primaire lengtecontrole- Combineer deze parameters voor fijnmazige controle over de generatie