Parametar n za višestruke odgovore
Na ovoj stranici
Generiranje više odgovora u jednom pozivu
Parametar n nalaže modelu da proizvede više alternativnih odgovora na isti upit unutar jednog API zahtjeva. Iako se ovo može činiti kao sitnica, omogućuje tri ozbiljna slučaja upotrebe: usporedbu dviju formulacija upita na uzorku, automatski odabir najboljeg odgovora iz serije i istraživanje prostora rješenja umjesto prihvaćanja prvog izlaza.
Zadana vrijednost je n=1, a API vraća jedan odgovor u polju choices. Ako postaviš n=5, niz sadrži pet unosa, od kojih svaki ima svoj index. Obrati pažnju na temperaturu postavljenu na 1.0 u primjeru ispod: bez dovoljne randomizacije, svih pet odgovora bilo bi identično, čineći poziv beskorisnim.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="ministral-3b-latest",
messages=[
{"role": "user", "content": "What is the best programming language for beginners? One word only."}
],
temperature=1.0, # High temperature to maximize diversity
n=5
)
for choice in response.choices:
print(f"Response {choice.index}: {choice.message.content}")
Dva faktora određuju praktičnu vrijednost ovog parametra. Prvi je naplata: ulazni (input) tokeni naplaćuju se samo jednom jer se upit šalje jedanput, ali se izlazni (output) tokeni naplaćuju za svaku kompletaciju. S n=5 i max_tokens=100, tvoja gornja granica izlaza skače na 500 tokena. Upravo to čini parametar n privlačnim za duge upite – amortizacija velikog konteksta kroz pet odgovora košta znatno manje nego pet zasebnih poziva.
print(f"Prompt tokens : {response.usage.prompt_tokens}") # Charged 1x
print(f"Response tokens: {response.usage.completion_tokens}") # Charged nx
print(f"Total : {response.usage.total_tokens}")
Drugi faktor je kompatibilnost: ne podržavaju svi Mistral modeli parametar n. Od travnja 2026., nove verzije modela mistral-large ne podržavaju n > 1. Koristi ministral-3b-latest ili druge kompatibilne modele za ovu značajku – zato se svi primjeri u ovoj lekciji oslanjaju na taj model.
Odabir najboljeg odgovora
Prvi slučaj upotrebe uključuje generiranje više kandidata i zadržavanje najboljeg na temelju kriterija koji definiraš. Mehanizam je namjerno generičan: best_of_n prihvaća bilo koju funkciju bodovanja, omogućujući ti da mjeriš ono što je bitno u tvom kontekstu – prisutnost obavezne ključne riječi, valjanost JSON-a ili pridržavanje ciljne duljine. Funkcija length_scorer ilustrira ovaj posljednji kriterij, gdje se bod smanjuje razmjerno odstupanju od ciljne duljine.
def best_of_n(client, messages, n=5, scorer=None, **kwargs):
"""Generates N responses and selects the best one."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.9,
**kwargs
)
candidates = [
{
"index": c.index,
"content": c.message.content,
"score": scorer(c.message.content) if scorer else 0
}
for c in response.choices
]
if scorer:
candidates.sort(key=lambda x: x["score"], reverse=True)
return candidates
# Scorer: appropriate length (not too short, not too long)
def length_scorer(text: str, target=200) -> float:
"""Score based on proximity to a target length."""
diff = abs(len(text) - target)
return max(0, 1 - diff / target)
candidates = best_of_n(
client,
[{"role": "user", "content": "Write a summary of generative AI in 2026."}],
n=5,
scorer=length_scorer,
max_tokens=300
)
print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")
Usporedba dva upita na uzorku
Drugi slučaj upotrebe je metodološki, a ne usmjeren na proizvod. Kada biraš između dviju formulacija upita, usporedba jednog odgovora s drugim ništa ne dokazuje: sama varijanca modela mogla bi objasniti razliku. Generiranjem N odgovora za svaku verziju i mjerenjem prosječne duljine te stope različitih odgovora, dobivaš preliminarne dokaze. Rezultat raznolikosti od 1.0 na upitu namijenjenom proizvodnji stabilnog formata crvena je zastavica, a ne dobra vijest.
def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
"""Compares two prompts by generating N responses for each."""
results = {}
for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
response = client.chat.complete(
model="ministral-3b-latest",
messages=[{"role": "user", "content": prompt}],
n=n,
temperature=0.8,
max_tokens=200
)
texts = [c.message.content for c in response.choices]
avg_length = sum(len(t) for t in texts) / len(texts)
unique_ratio = len(set(texts)) / len(texts)
results[label] = {
"avg_length": round(avg_length),
"diversity": round(unique_ratio, 2),
"sample": texts[0][:150]
}
return results
# Test
results = ab_test_prompts(
client,
"Summarize the benefits of Python.",
"List the 3 main benefits of Python in one sentence each."
)
for label, data in results.items():
print(f"\nPrompt {label}:")
print(f" Average length : {data['avg_length']} chars")
print(f" Diversity : {data['diversity']}")
print(f" Sample : {data['sample']}...")
Poboljšanje pouzdanosti klasifikacije glasovanjem
Treći slučaj upotrebe nudi najveći povrat ulaganja (ROI) u proizvodnji. Za zadatak klasifikacije, jedan odgovor ti ne govori ništa o sigurnosti modela: odgovor može biti očigledan, ili može biti granično nagađanje između dviju kategorija. Generiraj sedam odgovora, prebroj glasove i dobit ćeš i oznaku i djelotvornu stopu pouzdanosti – klasifikacija 4/7 može se proslijediti na ljudsku validaciju, dok 7/7 prolazi izravno. Korištenje neparnog broja izbjegava neriješene rezultate.
from collections import Counter
def majority_vote(client, messages, n=7, **kwargs):
"""Majority vote classification over N completions."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.7,
max_tokens=20,
**kwargs
)
votes = [c.message.content.strip().upper() for c in response.choices]
counts = Counter(votes)
winner, count = counts.most_common(1)[0]
confidence = count / n
return {
"result": winner,
"confidence": round(confidence, 2),
"votes": dict(counts),
"n": n
}
# Sentiment classification
result = majority_vote(
client,
messages=[
{"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
{"role": "user", "content": "The product is okay but the delivery was very slow."}
],
n=7
)
print(f"Result : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes : {result['votes']}")
Kada koristiti n > 1
Ovaj parametar nije opravdan svugdje: na standardnom prometu, svaka dodatna kompletacija je trošak izlaza bez povrata. Tablica u nastavku sažima obranjive vrijednosti temeljem scenarija.
| Scenarij | Preporučeni n | Zašto |
|---|---|---|
| Standardna proizvodnja | 1 | Minimalni trošak |
| Odabir kvalitete | 3-5 | Najbolji od N za kritični tekst |
| Robusna klasifikacija | 5-9 (neparno) | Većinsko glasovanje za pouzdanost |
| A/B testiranje upita | 5-10 | Dovoljna veličina uzorka za usporedbu |
| Oluja ideja (Brainstorming) | 5-10 | Maksimalna raznolikost ideja |
Ključne točke
- Parametar
ngenerira više odgovora u jednom API pozivu - Ulazni tokeni naplaćuju se jednom; izlazni tokeni se množe s N
- Ne podržavaju svi modeli
n > 1– provjeri kompatibilnost - Većinsko glasovanje poboljšava pouzdanost klasifikacije
- „Najbolji od N“ odabire najbolji odgovor na temelju mjerljivog kriterija
- Koristi visoku temperaturu s
n > 1za maksimiziranje raznolikosti odgovora