N completions
På denne side
Generer flere svar i ét kald
Parameteren n instruerer modellen i at producere flere alternative svar på den samme prompt inden for en enkelt API-anmodning. Selvom dette måske virker som en mindre funktion, muliggør den tre seriøse anvendelsestilfælde: sammenligning af to prompt-formuleringer på et prøvesæt, automatisk valg af det bedste svar fra en batch og udforskning af løsningsrummet i stedet for blot at acceptere det første output.
Som standard er n=1, og API’en returnerer et enkelt svar i choices. Hvis du sætter n=5, indeholder arrayet fem poster, hver med sit eget index. Bemærk temperaturen sat til 1,0 i eksemplet nedenfor: uden tilstrækkelig randomisering ville alle fem svar være identiske, hvilket ville gøre kaldet ubrugeligt.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="ministral-3b-latest",
messages=[
{"role": "user", "content": "What is the best programming language for beginners? One word only."}
],
temperature=1.0, # Høj temperatur for at maksimere diversitet
n=5
)
for choice in response.choices:
print(f"Response {choice.index}: {choice.message.content}")
To faktorer bestemmer parameterens praktiske værdi. Den første er fakturering: input-tokens opkræves kun én gang, da prompten sendes én enkelt gang, men output-tokens opkræves for hver completion. Med n=5 og max_tokens=100 springer dit output-loft op til 500 tokens. Det er præcis dette, der gør n attraktivt til lange prompts – at fordele en stor kontekst over fem svar koster betydeligt mindre end at foretage fem separate kald.
print(f"Prompt tokens : {response.usage.prompt_tokens}") # Opkræves 1x
print(f"Response tokens: {response.usage.completion_tokens}") # Opkræves nx
print(f"Total : {response.usage.total_tokens}")
Den anden faktor er kompatibilitet: ikke alle Mistral-modeller understøtter n. Fra april 2026 understøtter nyere versioner af mistral-large ikke n > 1. Brug ministral-3b-latest eller andre kompatible modeller til denne funktion – hvilket er grunden til, at alle eksempler i denne lektion bruger netop den model.
Vælg det bedste svar
Det første anvendelsestilfælde indebærer at generere flere kandidater og beholde den bedste baseret på et kriterium, du definerer. Mekanismen er bevidst generisk: best_of_n accepterer enhver scoring-funktion, så du kan måle det, der betyder noget i din kontekst – tilstedeværelsen af et obligatorisk nøgleord, JSON-gyldighed eller overholdelse af en mållængde. Funktionen length_scorer illustrerer dette sidste kriterium, hvor scoren falder proportionalt med afvigelsen fra mållængden.
def best_of_n(client, messages, n=5, scorer=None, **kwargs):
"""Genererer N svar og vælger det bedste."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.9,
**kwargs
)
candidates = [
{
"index": c.index,
"content": c.message.content,
"score": scorer(c.message.content) if scorer else 0
}
for c in response.choices
]
if scorer:
candidates.sort(key=lambda x: x["score"], reverse=True)
return candidates
# Scorer: passende længde (hverken for kort eller for lang)
def length_scorer(text: str, target=200) -> float:
"""Score baseret på nærhed til en mållængde."""
diff = abs(len(text) - target)
return max(0, 1 - diff / target)
candidates = best_of_n(
client,
[{"role": "user", "content": "Write a summary of generative AI in 2026."}],
n=5,
scorer=length_scorer,
max_tokens=300
)
print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")
Sammenlign to prompts på en prøve
Det andet anvendelsestilfælde er metodisk snarere end produktfokuseret. Når du skal vælge mellem to prompt-formuleringer, beviser sammenligningen af ét enkelt svar med et andet ingenting: modelvarians alene kunne forklare forskellen. Ved at generere N svar for hver version og måle gennemsnitslængden samt andelen af unikke svar, får du foreløbige beviser. En diversitetsscore på 1,0 på en prompt, der er beregnet til at producere et stabilt format, er et advarselstegn, ikke gode nyheder.
def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
"""Sammenligner to prompts ved at generere N svar for hver."""
results = {}
for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
response = client.chat.complete(
model="ministral-3b-latest",
messages=[{"role": "user", "content": prompt}],
n=n,
temperature=0.8,
max_tokens=200
)
texts = [c.message.content for c in response.choices]
avg_length = sum(len(t) for t in texts) / len(texts)
unique_ratio = len(set(texts)) / len(texts)
results[label] = {
"avg_length": round(avg_length),
"diversity": round(unique_ratio, 2),
"sample": texts[0][:150]
}
return results
# Test
results = ab_test_prompts(
client,
"Summarize the benefits of Python.",
"List the 3 main benefits of Python in one sentence each."
)
for label, data in results.items():
print(f"\nPrompt {label}:")
print(f" Average length : {data['avg_length']} chars")
print(f" Diversity : {data['diversity']}")
print(f" Sample : {data['sample']}...")
Forbedr klassificeringspålidelighed via afstemning
Det tredje anvendelsestilfælde tilbyder den højeste ROI i produktion. Til en klassificeringsopgave fortæller et enkelt svar dig intet om modellens tillid: svaret kan være indlysende, eller det kan være et gæt på kanten mellem to kategorier. Generer syv svar, tæl stemmerne, og du får både en label og en handlingsorienteret tillidsgrad – en 4/7-klassificering kan routings til menneskelig validering, mens en 7/7 passerer direkte igennem. Brug af et ulige tal undrer uafgjorte resultater.
from collections import Counter
def majority_vote(client, messages, n=7, **kwargs):
"""Majoritetsafstemning-klassificering over N completions."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.7,
max_tokens=20,
**kwargs
)
votes = [c.message.content.strip().upper() for c in response.choices]
counts = Counter(votes)
winner, count = counts.most_common(1)[0]
confidence = count / n
return {
"result": winner,
"confidence": round(confidence, 2),
"votes": dict(counts),
"n": n
}
# Sentiment-klassificering
result = majority_vote(
client,
messages=[
{"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
{"role": "user", "content": "The product is okay but the delivery was very slow."}
],
n=7
)
print(f"Result : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes : {result['votes']}")
Hvornår skal du bruge n > 1
Denne parameter er ikke berettiget overalt: ved standardtrafik er hver ekstra completion en output-omkostning uden afkast. Tabellen nedenfor opsummerer forsvarlige værdier baseret på scenariet.
| Scenarie | Anbefalet n | Hvorfor |
|---|---|---|
| Standard produktion | 1 | Minimale omkostninger |
| Kvalitetsudvælgelse | 3-5 | Best-of-N til kritisk tekst |
| Robust klassificering | 5-9 (ulige) | Majoritetsafstemning for pålidelighed |
| Prompt A/B-test | 5-10 | Tilstrækkelig prøvestørrelse til sammenligning |
| Brainstorming | 5-10 | Maksimal idédiversitet |
Vigtige pointer
- Parameteren
ngenererer flere svar i ét enkelt API-kald - Input-tokens opkræves én gang; output-tokens ganges med N
- Ikke alle modeller understøtter
n > 1– verificer kompatibilitet - Majoritetsafstemning forbedrer pålideligheden af klassificering
- Best-of-N vælger det bedste svar baseret på et målbart kriterium
- Brug høj temperatur med
n > 1for at maksimere svardiversitet