Kompletteringar med n
På denna sida
Generera flera svar i ett enda anrop
Parametern n instruerar modellen att producera flera alternativa svar på samma prompt inom ett enda API-anrop. Även om detta kan verka som en mindre funktion, möjliggör den tre seriösa användningsområden: att jämföra två prompt-formuleringar på ett urval, automatiskt välja ut det bästa svaret från en batch, och utforska lösningsutrymmet snarare än att acceptera det första utdata.
Som standard är n=1, och API:t returnerar ett enda svar i choices. Om du ställer in n=5 kommer arrayen att innehålla fem poster, var och en med sitt eget index. Observera att temperaturen är inställd på 1,0 i exemplet nedan: utan tillräcklig slumpmässighet skulle alla fem svar vara identiska, vilket gör anropet värdelöst.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="ministral-3b-latest",
messages=[
{"role": "user", "content": "What is the best programming language for beginners? One word only."}
],
temperature=1.0, # Hög temperatur för att maximera mångfald
n=5
)
for choice in response.choices:
print(f"Response {choice.index}: {choice.message.content}")
Två faktorer avgör parameterns praktiska värde. Den första är fakturering: input-tokens debiteras endast en gång eftersom prompten skickas en enda gång, men output-tokens debiteras för varje komplettering. Med n=5 och max_tokens=100 hoppar ditt output-tak till 500 tokens. Det är precis detta som gör n attraktivt för långa prompter – att fördela en stor kontext över fem svar kostar betydligt mindre än att göra fem separata anrop.
print(f"Prompt tokens : {response.usage.prompt_tokens}") # Debiteras 1x
print(f"Response tokens: {response.usage.completion_tokens}") # Debiteras nx
print(f"Total : {response.usage.total_tokens}")
Den andra faktorn är kompatibilitet: inte alla Mistral-modeller stöder n. Från och med april 2026 stöder inte de senaste versionerna av mistral-large n > 1. Använd ministral-3b-latest eller andra kompatibla modeller för denna funktion – vilket är anledningen till att alla exempel i denna lektion förlitar sig på den modellen.
Välj det bästa svaret
Det första användningsområdet innebär att generera flera kandidater och behålla den bästa baserat på ett kriterium du definierar. Mekanismen är avsiktligt generell: best_of_n accepterar vilken poängsättningsfunktion som helst, vilket låter dig mäta det som spelar roll i din kontext – förekomsten av ett obligatoriskt nyckelord, JSON-giltighet eller efterlevnad av en mållängd. Funktionen length_scorer illustrerar detta sista kriterium, där poängen minskar proportionellt mot avvikelsen från mållängden.
def best_of_n(client, messages, n=5, scorer=None, **kwargs):
"""Genererar N svar och väljer ut det bästa."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.9,
**kwargs
)
candidates = [
{
"index": c.index,
"content": c.message.content,
"score": scorer(c.message.content) if scorer else 0
}
for c in response.choices
]
if scorer:
candidates.sort(key=lambda x: x["score"], reverse=True)
return candidates
# Poängsättare: lämplig längd (inte för kort, inte för lång)
def length_scorer(text: str, target=200) -> float:
"""Poäng baserad på närhet till en mållängd."""
diff = abs(len(text) - target)
return max(0, 1 - diff / target)
candidates = best_of_n(
client,
[{"role": "user", "content": "Write a summary of generative AI in 2026."}],
n=5,
scorer=length_scorer,
max_tokens=300
)
print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")
Jämför två prompter på ett urval
Det andra användningsområdet är metodiskt snarare än produktfokuserat. När du ska välja mellan två prompt-formuleringar bevisar en jämförelse av ett enda svar mot ett annat ingenting: modellvarians ensam skulle kunna förklara skillnaden. Genom att generera N svar för varje version och mäta genomsnittlig längd samt andelen unika svar får du preliminära bevis. En mångfaldspoäng på 1,0 för en prompt avsedd att producera ett stabilt format är en varningssignal, inte goda nyheter.
def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
"""Jämför två prompter genom att generera N svar för var och en."""
results = {}
for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
response = client.chat.complete(
model="ministral-3b-latest",
messages=[{"role": "user", "content": prompt}],
n=n,
temperature=0.8,
max_tokens=200
)
texts = [c.message.content for c in response.choices]
avg_length = sum(len(t) for t in texts) / len(texts)
unique_ratio = len(set(texts)) / len(texts)
results[label] = {
"avg_length": round(avg_length),
"diversity": round(unique_ratio, 2),
"sample": texts[0][:150]
}
return results
# Test
results = ab_test_prompts(
client,
"Summarize the benefits of Python.",
"List the 3 main benefits of Python in one sentence each."
)
for label, data in results.items():
print(f"\nPrompt {label}:")
print(f" Average length : {data['avg_length']} chars")
print(f" Diversity : {data['diversity']}")
print(f" Sample : {data['sample']}...")
Förbättra klassificeringspålitlighet via röstning
Det tredje användningsområdet erbjuder högst avkastning (ROI) i produktion. För en klassificeringsuppgift berättar ett enda svar ingenting om modellens säkerhet: svaret kan vara uppenbart, eller så kan det vara en gissning på gränsen mellan två kategorier. Generera sju svar, räkna rösterna, och du får både en etikett och en handlingsbar säkerhetsgrad – en klassificering på 4/7 kan routas för mänsklig validering, medan en 7/7 passerar direkt igenom. Att använda ett udda tal undviker oavgjorda resultat.
from collections import Counter
def majority_vote(client, messages, n=7, **kwargs):
"""Majoritetsröstning för klassificering över N kompletteringar."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.7,
max_tokens=20,
**kwargs
)
votes = [c.message.content.strip().upper() for c in response.choices]
counts = Counter(votes)
winner, count = counts.most_common(1)[0]
confidence = count / n
return {
"result": winner,
"confidence": round(confidence, 2),
"votes": dict(counts),
"n": n
}
# Sentimentklassificering
result = majority_vote(
client,
messages=[
{"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
{"role": "user", "content": "The product is okay but the delivery was very slow."}
],
n=7
)
print(f"Result : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes : {result['votes']}")
När ska du använda n > 1
Denna parameter är inte motiverad överallt: vid standardtrafik är varje ytterligare komplettering en output-kostnad utan avkastning. Tabellen nedan sammanfattar försvarbara värden baserat på scenariot.
| Scenario | Rekommenderat n | Varför |
|---|---|---|
| Standardproduktion | 1 | Minimal kostnad |
| Kvalitetsval | 3–5 | Best-of-N för kritisk text |
| Robust klassificering | 5–9 (udda) | Majoritetsröstning för pålitlighet |
| Prompt A/B-testning | 5–10 | Tillräcklig urvalsstorlek för jämförelse |
| Idégenerering | 5–10 | Maximal idémångfald |
Viktiga punkter
- Parametern
ngenererar flera svar i ett enda API-anrop - Input-tokens debiteras en gång; output-tokens multipliceras med N
- Inte alla modeller stöder
n > 1– verifiera kompatibilitet - Majoritetsröstning förbättrar pålitligheten vid klassificering
- Best-of-N väljer ut det bästa svaret baserat på ett mätbart kriterium
- Använd hög temperatur med
n > 1för att maximera svarsmångfalden