Parameter n: viacero doplnení
Na tejto strane
Generovanie viacerých odpovedí v jednom volaní
Parameter n prikazuje modelu, aby v rámci jednej požiadavky API vygeneroval viacero alternatívnych odpovedí na rovnaký prompt. Hoci sa to môže zdať ako drobnosť, tento parameter umožňuje tri závažné prípady použitia: porovnanie dvoch formulácií promptov na vzorke, automatický výber najlepšej odpovede z dávky a preskúmanie priestoru riešení namiesto akceptovania prvého výstupu.
Predvolená hodnota je n=1 a API vráti v poli choices jedinú odpoveď. Ak nastavíš n=5, pole bude obsahovať päť záznamov, pričom každý má vlastné index. Všimni si teplotu nastavenú na 1,0 v príklade nižšie: bez dostatočnej náhodnosti by všetkých päť odpovedí bolo identických, čo by celé volanie zbytočné.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="ministral-3b-latest",
messages=[
{"role": "user", "content": "What is the best programming language for beginners? One word only."}
],
temperature=1.0, # Vysoká teplota pre maximalizáciu rozmanitosti
n=5
)
for choice in response.choices:
print(f"Response {choice.index}: {choice.message.content}")
Praktickú hodnotu tohto parametra určujú dva faktory. Prvým je fakturácia: tokeny vstupu sa účtujú iba raz, keďže prompt sa odosiela len jedenkrát, ale tokeny výstupu sa účtujú za každé dokončenie. Pri n=5 a max_tokens=100 sa tvoj limit výstupných tokenov zvýši na 500. Práve to robí parameter n atraktívnym pre dlhé prompty – amortizácia veľkého kontextu naprieč piatimi odpoveďami stojí výrazne menej než uskutočnenie piatich samostatných volaní.
print(f"Prompt tokens : {response.usage.prompt_tokens}") # Účtované 1x
print(f"Response tokens: {response.usage.completion_tokens}") # Účtované nx
print(f"Total : {response.usage.total_tokens}")
Druhým faktorom je kompatibilita: nie všetky modely Mistral podporujú parameter n. K aprílu 2026 najnovšie verzie modelu mistral-large nepodporujú n > 1. Pre túto funkciu použij model ministral-3b-latest alebo iné kompatibilné modely – preto sa všetky príklady v tejto lekcii spoliehajú práve na tento model.
Výber najlepšej odpovede
Prvý prípad použitia zahŕňa generovanie viacerých kandidátov a ponechanie si toho najlepšieho na základe tebou definovaného kritéria. Mechanizmus je zámerne všeobecný: funkcia best_of_n akceptuje ľubovoľnú skórovaciu funkciu, čo ti umožňuje merať to, na čom vo tvojom kontexte záleží – prítomnosť povinného kľúčového slova, platnosť JSON alebo dodržanie cieľovej dĺžky. Funkcia length_scorer ilustruje toto posledné kritérium, kde skóre klesá úmerne s odchýlkou od cieľovej dĺžky.
def best_of_n(client, messages, n=5, scorer=None, **kwargs):
"""Generuje N odpovedí a vyberie tú najlepšiu."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.9,
**kwargs
)
candidates = [
{
"index": c.index,
"content": c.message.content,
"score": scorer(c.message.content) if scorer else 0
}
for c in response.choices
]
if scorer:
candidates.sort(key=lambda x: x["score"], reverse=True)
return candidates
# Skórer: vhodná dĺžka (nie príliš krátka, nie príliš dlhá)
def length_scorer(text: str, target=200) -> float:
"""Skóre založené na blízkosti k cieľovej dĺžke."""
diff = abs(len(text) - target)
return max(0, 1 - diff / target)
candidates = best_of_n(
client,
[{"role": "user", "content": "Write a summary of generative AI in 2026."}],
n=5,
scorer=length_scorer,
max_tokens=300
)
print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")
Porovnanie dvoch promptov na vzorke
Druhý prípad použitia je skôr metodologický než produktový. Keď sa rozhoduješ medzi dvoma formuláciami promptu, porovnanie jednej odpovede s druhou nič nepreukazuje: rozdiel by mohla spôsobovať samotná variabilita modelu. Vygenerovaním N odpovedí pre každú verziu a meraním priemernej dĺžky a miery odlišných odpovedí získaš predbežné dôkazy. Skóre rozmanitosti 1,0 pri prompte určenom na produkciu stabilného formátu je varovným signálom, nie dobrou správou.
def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
"""Porovná dva prompty vygenerovaním N odpovedí pre každý."""
results = {}
for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
response = client.chat.complete(
model="ministral-3b-latest",
messages=[{"role": "user", "content": prompt}],
n=n,
temperature=0.8,
max_tokens=200
)
texts = [c.message.content for c in response.choices]
avg_length = sum(len(t) for t in texts) / len(texts)
unique_ratio = len(set(texts)) / len(texts)
results[label] = {
"avg_length": round(avg_length),
"diversity": round(unique_ratio, 2),
"sample": texts[0][:150]
}
return results
# Test
results = ab_test_prompts(
client,
"Summarize the benefits of Python.",
"List the 3 main benefits of Python in one sentence each."
)
for label, data in results.items():
print(f"\nPrompt {label}:")
print(f" Average length : {data['avg_length']} chars")
print(f" Diversity : {data['diversity']}")
print(f" Sample : {data['sample']}...")
Zlepšenie spoľahlivosti klasifikácie hlasovaním
Tretí prípad použitia ponúka v produkcii najvyššiu návratnosť investícií (ROI). Pri úlohe klasifikácie ti jedna odpoveď nič nepovie o istote modelu: odpoveď môže byť zrejmá, alebo môže ísť o hraničný odhad medzi dvoma kategóriami. Vygeneruj sedem odpovedí, spočítaj hlasy a získaš nielen označenie, ale aj použiteľnú mieru istoty – klasifikácia 4/7 môže byť smerovaná na ľudskú validáciu, zatiaľ čo 7/7 prejde priamo. Použitie nepárneho čísla predchádza remízam.
from collections import Counter
def majority_vote(client, messages, n=7, **kwargs):
"""Klasifikácia väčšinovým hlasovaním nad N doplneniami."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.7,
max_tokens=20,
**kwargs
)
votes = [c.message.content.strip().upper() for c in response.choices]
counts = Counter(votes)
winner, count = counts.most_common(1)[0]
confidence = count / n
return {
"result": winner,
"confidence": round(confidence, 2),
"votes": dict(counts),
"n": n
}
# Klasifikácia sentimentu
result = majority_vote(
client,
messages=[
{"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
{"role": "user", "content": "The product is okay but the delivery was very slow."}
],
n=7
)
print(f"Result : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes : {result['votes']}")
Kedy použiť n > 1
Tento parameter nie je opodstatnený všade: pri štandardnej prevádzke je každé ďalšie dokončenie nákladom na výstupné tokeny bez návratnosti. Nižšie uvedená tabuľka sumarizuje obhájiteľné hodnoty na základe scenára.
| Scenár | Odporúčané n | Prečo |
|---|---|---|
| Štandardná produkcia | 1 | Minimálne náklady |
| Výber kvality | 3-5 | Best-of-N pre kritický text |
| Robustná klasifikácia | 5-9 (nepárne) | Väčšinové hlasovanie pre spoľahlivosť |
| A/B testovanie promptov | 5-10 | Dostatočná veľkosť vzorky na porovnanie |
| Brainstorming | 5-10 | Maximálna rozmanitosť nápadov |
Kľúčové poznatky
- Parameter
ngeneruje viacero odpovedí v rámci jedného volania API - Tokeny vstupu sa účtujú raz; tokeny výstupu sa násobia hodnotou N
- Nie všetky modely podporujú
n > 1– over si kompatibilitu - Väčšinové hlasovanie zlepšuje spoľahlivosť klasifikácie
- Metóda Best-of-N vyberá najlepšiu odpoveď na základe merateľného kritéria
- Pri použití
n > 1nastav vysokú teplotu pre maximalizáciu rozmanitosti odpovedí