N completions
Ezen az oldalon
Több válasz generálása egyetlen hívásban
Az n paraméter utasítja a modellt, hogy több alternatív választ adjon ugyanarra a promptra egyetlen API-kérésen belül. Bár ez apróságnak tűnhet, három komoly felhasználási esetet tesz lehetővé: két prompt-formuláció összehasonlítása egy mintahalmazon, a legjobb válasz automatikus kiválasztása egy kötegből, valamint a megoldási tér feltárása az első kimenet vak elfogadása helyett.
Alapértelmezés szerint n=1, és az API egyetlen választ ad vissza a choices mezőben. Ha n=5-öt állítasz be, a tömb öt elemet tartalmaz, mindegyik saját indexszel. Figyeld meg az alábbi példában a 1,0-ra állított hőmérsékletet: megfelelő véletlenszerűsítés nélkül mind az öt válasz azonos lenne, így a hívás haszontalan lenne.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="ministral-3b-latest",
messages=[
{"role": "user", "content": "What is the best programming language for beginners? One word only."}
],
temperature=1.0, # High temperature to maximize diversity
n=5
)
for choice in response.choices:
print(f"Response {choice.index}: {choice.message.content}")
Két tényező határozza meg e paraméter gyakorlati értékét. Az első a számlázás: a bemeneti tokenek díja csak egyszer merül fel, mivel a promptot egyszer küldjük el, de a kimeneti tokenekért minden egyes completion után fizetni kell. n=5 és max_tokens=100 esetén a kimeneti kereted 500 tokenre ugrik. Pontosan ez teszi vonzóvá az n paramétert hosszú promptoknál: egy nagy kontextus költségének szétosztása öt válasz között jelentősen olcsóbb, mint öt külön hívás indítása.
print(f"Prompt tokens : {response.usage.prompt_tokens}") # Charged 1x
print(f"Response tokens: {response.usage.completion_tokens}") # Charged nx
print(f"Total : {response.usage.total_tokens}")
A második tényező a kompatibilitás: nem minden Mistral modell támogatja az n paramétert. 2026 áprilisától a mistral-large legfrissebb verziói nem támogatják az n > 1 értéket. Ehhez a funkcióhoz használd a ministral-3b-latest vagy más kompatibilis modelleket – ezért támaszkodik e lecke minden példája erre a modellre.
A legjobb válasz kiválasztása
Az első felhasználási eset több jelölt generálását és a legjobb megtartását jelenti egy általad meghatározott kritérium alapján. A mechanizmus szándékosan általános: a best_of_n bármilyen pontozó függvényt elfogad, lehetővé téve, hogy azt mérd, ami a te kontextusodban számít – legyen szó egy kötelező kulcsszó jelenlétéről, JSON érvényességről vagy egy célméret betartásáról. A length_scorer függvény ezt utóbbi kritériumot illusztrálja, ahol a pontszám arányosan csökken a célmérettől való eltéréssel.
def best_of_n(client, messages, n=5, scorer=None, **kwargs):
"""Generates N responses and selects the best one."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.9,
**kwargs
)
candidates = [
{
"index": c.index,
"content": c.message.content,
"score": scorer(c.message.content) if scorer else 0
}
for c in response.choices
]
if scorer:
candidates.sort(key=lambda x: x["score"], reverse=True)
return candidates
# Scorer: appropriate length (not too short, not too long)
def length_scorer(text: str, target=200) -> float:
"""Score based on proximity to a target length."""
diff = abs(len(text) - target)
return max(0, 1 - diff / target)
candidates = best_of_n(
client,
[{"role": "user", "content": "Write a summary of generative AI in 2026."}],
n=5,
scorer=length_scorer,
max_tokens=300
)
print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")
Két prompt összehasonlítása egy mintán
A második felhasználási eset módszertani jellegű, nem termékfókuszú. Két prompt-formuláció közötti döntéskor egyetlen válasz összehasonlítása egy másikkal semmit sem bizonyít: a különbséget magyarázhatja pusztán a modell varianciája is. Ha mindkét verzióhoz N választ generálsz, és méred az átlagos hosszúságot, valamint az egyedi válaszok arányát, előzetes bizonyítékot kapsz. Egy 1,0-es diverzitási pontszám egy stabil formátumot előállítani hivatott promptnál vörös zászló, nem jó hír.
def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
"""Compares two prompts by generating N responses for each."""
results = {}
for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
response = client.chat.complete(
model="ministral-3b-latest",
messages=[{"role": "user", "content": prompt}],
n=n,
temperature=0.8,
max_tokens=200
)
texts = [c.message.content for c in response.choices]
avg_length = sum(len(t) for t in texts) / len(texts)
unique_ratio = len(set(texts)) / len(texts)
results[label] = {
"avg_length": round(avg_length),
"diversity": round(unique_ratio, 2),
"sample": texts[0][:150]
}
return results
# Test
results = ab_test_prompts(
client,
"Summarize the benefits of Python.",
"List the 3 main benefits of Python in one sentence each."
)
for label, data in results.items():
print(f"\nPrompt {label}:")
print(f" Average length : {data['avg_length']} chars")
print(f" Diversity : {data['diversity']}")
print(f" Sample : {data['sample']}...")
Osztályozási megbízhatóság javítása szavazással
A harmadik felhasználási eset kínálja a legnagyobb megtérülést (ROI) éles környezetben. Osztályozási feladatnál egyetlen válasz semmit nem árul el a modell magabiztosságáról: a válasz lehet nyilvánvaló, de lehet határeset is két kategória között. Generálj hét választ, számold meg a szavazatokat, és máris kapsz egy címkét és egy cselekvőképes megbízhatósági rátát – egy 4/7-es osztályozás emberi validálásra irányítható, míg egy 7/7-es közvetlenül továbbhalad. Páratlan szám használata elkerüli a döntetlen helyzeteket.
from collections import Counter
def majority_vote(client, messages, n=7, **kwargs):
"""Majority vote classification over N completions."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.7,
max_tokens=20,
**kwargs
)
votes = [c.message.content.strip().upper() for c in response.choices]
counts = Counter(votes)
winner, count = counts.most_common(1)[0]
confidence = count / n
return {
"result": winner,
"confidence": round(confidence, 2),
"votes": dict(counts),
"n": n
}
# Sentiment classification
result = majority_vote(
client,
messages=[
{"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
{"role": "user", "content": "The product is okay but the delivery was very slow."}
],
n=7
)
print(f"Result : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes : {result['votes']}")
Mikor használd az n > 1 értéket?
Ez a paraméter nem mindenhol indokolt: szabványos forgalom esetén minden további completion kimeneti költség megtérülés nélkül. Az alábbi táblázat összefoglalja a forgatókönyvek alapján védhető értékeket.
| Forgatókönyv | Ajánlott n | Miért |
|---|---|---|
| Szabványos éles környezet | 1 | Minimális költség |
| Minőségi kiválasztás | 3-5 | Best-of-N kritikus szövegeknél |
| Robusztus osztályozás | 5-9 (páratlan) | Többségi szavazás a megbízhatóságért |
| Prompt A/B tesztelés | 5-10 | Elég nagy minta az összehasonlításhoz |
| Ötletelés (Brainstorming) | 5-10 | Maximális ötletdiverzitás |
Főbb megállapítások
- Az
nparaméter több választ generál egyetlen API-hívásban - A bemeneti tokenek díja egyszer merül fel; a kimeneti tokenek száma N-szereződik
- Nem minden modell támogatja az
n > 1értéket – ellenőrizd a kompatibilitást - A többségi szavazás javítja az osztályozás megbízhatóságát
- A Best-of-N kiválasztja a legjobb választ egy mérhető kritérium alapján
- Használj magas hőmérsékletet
n > 1esetén a válaszok diverzitásának maximalizálásához