Parametr n pro více odpovědí
Na této stránce
Generování více odpovědí v jediném volání
Parametr n instruuje model, aby v rámci jedné žádosti API vytvořil více alternativních odpovědí na stejný prompt. I když se to může zdát jako drobnost, otevírá tři zásadní scénáře použití: porovnání dvou formulací promptů na vzorku dat, automatický výběr nejlepší odpovědi z dávky a průzkum prostoru řešení místo akceptace prvního výstupu.
Ve výchozím nastavení je n=1 a API vrací v poli choices jedinou odpověď. Pokud nastavíš n=5, pole bude obsahovat pět záznamů, každý s vlastním index. Všimni si teploty nastavené na 1,0 v níže uvedeném příkladu: bez dostatečné náhodnosti by všech pět odpovědí bylo identických a volání by bylo k ničemu.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="ministral-3b-latest",
messages=[
{"role": "user", "content": "What is the best programming language for beginners? One word only."}
],
temperature=1.0, # High temperature to maximize diversity
n=5
)
for choice in response.choices:
print(f"Response {choice.index}: {choice.message.content}")
Praktickou hodnotu tohoto parametru určují dva faktory. Prvním je fakturace: tokeny vstupu jsou účtovány pouze jednou, protože prompt je odeslán jen jednou, ale tokeny výstupu jsou účtovány za každou dokončenou odpověď. Při n=5 a max_tokens=100 skočí tvůj limit výstupních tokenů na 500. Právě to činí parametr n atraktivním pro dlouhé prompty – amortizace velkého kontextu přes pět odpovědí stojí výrazně méně než provedení pěti samostatných volání.
print(f"Prompt tokens : {response.usage.prompt_tokens}") # Charged 1x
print(f"Response tokens: {response.usage.completion_tokens}") # Charged nx
print(f"Total : {response.usage.total_tokens}")
Druhým faktorem je kompatibilita: ne všechny modely Mistral podporují n. K dubnu 2026 nejnovější verze mistral-large nepodporují n > 1. Pro tuto funkci použij ministral-3b-latest nebo jiné kompatibilní modely – proto se všechny příklady v této lekci spoléhají právě na tento model.
Výběr nejlepší odpovědi
První případ použití spočívá ve generování více kandidátů a ponechání toho nejlepšího na základem tebou definovaného kritéria. Mechanismus je záměrně obecný: best_of_n přijímá libovolnou skórovací funkci, což ti umožňuje měřit to, na čem záleží v tvém kontextu – přítomnost povinného klíčového slova, platnost JSON nebo dodržení cílové délky. Funkce length_scorer ilustruje toto poslední kritérium, kde skóre klesá úměrně odchylce od cílové délky.
def best_of_n(client, messages, n=5, scorer=None, **kwargs):
"""Generates N responses and selects the best one."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.9,
**kwargs
)
candidates = [
{
"index": c.index,
"content": c.message.content,
"score": scorer(c.message.content) if scorer else 0
}
for c in response.choices
]
if scorer:
candidates.sort(key=lambda x: x["score"], reverse=True)
return candidates
# Scorer: appropriate length (not too short, not too long)
def length_scorer(text: str, target=200) -> float:
"""Score based on proximity to a target length."""
diff = abs(len(text) - target)
return max(0, 1 - diff / target)
candidates = best_of_n(
client,
[{"role": "user", "content": "Write a summary of generative AI in 2026."}],
n=5,
scorer=length_scorer,
max_tokens=300
)
print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")
Porovnání dvou promptů na vzorku
Druhý případ použití je metodologický, nikoliv produktový. Když se rozhoduješ mezi dvěma formulacemi promptu, porovnání jedné odpovědi s druhou nic neprokazuje: rozdíl by mohl vysvětlovat samotná variabilita modelu. Vygenerováním N odpovědí pro každou verzi a změřením průměrné délky a míry odlišných odpovědí získáš předběžné důkazy. Skóre diverzity 1,0 u promptu určeného k produkci stabilního formátu je varovným signálem, nikoliv dobrou zprávou.
def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
"""Compares two prompts by generating N responses for each."""
results = {}
for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
response = client.chat.complete(
model="ministral-3b-latest",
messages=[{"role": "user", "content": prompt}],
n=n,
temperature=0.8,
max_tokens=200
)
texts = [c.message.content for c in response.choices]
avg_length = sum(len(t) for t in texts) / len(texts)
unique_ratio = len(set(texts)) / len(texts)
results[label] = {
"avg_length": round(avg_length),
"diversity": round(unique_ratio, 2),
"sample": texts[0][:150]
}
return results
# Test
results = ab_test_prompts(
client,
"Summarize the benefits of Python.",
"List the 3 main benefits of Python in one sentence each."
)
for label, data in results.items():
print(f"\nPrompt {label}:")
print(f" Average length : {data['avg_length']} chars")
print(f" Diversity : {data['diversity']}")
print(f" Sample : {data['sample']}...")
Zlepšení spolehlivosti klasifikace hlasováním
Třetí případ použití nabízí v produkci nejvyšší návratnost investic (ROI). U úlohy klasifikace ti jedna odpověď nic neřekne o jistotě modelu: odpověď může být zřejmá, nebo může jít o hraniční odhad mezi dvěma kategoriemi. Vygeneruj sedm odpovědí, spočítej hlasy a získáš jak štítek, tak použitelnou míru jistoty – klasifikaci 4/7 můžeš směrovat k lidské validaci, zatímco 7/7 projde přímo. Použití lichého čísla zabraňuje remízám.
from collections import Counter
def majority_vote(client, messages, n=7, **kwargs):
"""Majority vote classification over N completions."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.7,
max_tokens=20,
**kwargs
)
votes = [c.message.content.strip().upper() for c in response.choices]
counts = Counter(votes)
winner, count = counts.most_common(1)[0]
confidence = count / n
return {
"result": winner,
"confidence": round(confidence, 2),
"votes": dict(counts),
"n": n
}
# Sentiment classification
result = majority_vote(
client,
messages=[
{"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
{"role": "user", "content": "The product is okay but the delivery was very slow."}
],
n=7
)
print(f"Result : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes : {result['votes']}")
Kdy použít n > 1
Tento parametr není všude opodstatněný: u standardního provozu je každá další dokončená odpověď nákladem na výstup bez návratnosti. Níže uvedená tabulka shrnuje obhajitelné hodnoty v závislosti na scénáři.
| Scénář | Doporučené n | Proč |
|---|---|---|
| Standardní produkce | 1 | Minimální náklady |
| Výběr kvality | 3–5 | Nejlepší z N pro kritický text |
| Robustní klasifikace | 5–9 (liché) | Většinové hlasování pro spolehlivost |
| A/B testování promptů | 5–10 | Dostatečná velikost vzorku pro porovnání |
| Brainstorming | 5–10 | Maximální diverzita nápadů |
Klíčové poznatky
- Parametr
ngeneruje více odpovědí v jediném volání API - Tokeny vstupu jsou účtovány jednou; tokeny výstupu se násobí hodnotou N
- Ne všechny modely podporují
n > 1– ověř si kompatibilitu - Většinové hlasování zlepšuje spolehlivost klasifikace
- Metoda „nejlepší z N“ vybírá nejlepší odpověď na základě měřitelného kritéria
- Při použití
n > 1nastav vysokou teplotu pro maximalizaci diverzity odpovědí