Completări multiple cu parametrul n
Pe această pagină
Generarea mai multor răspunsuri într-o singură apelare
Parametrul n instruiește modelul să producă mai multe răspunsuri alternative la aceeași solicitare, într-o singură cerere API. Deși aceasta poate părea o funcționalitate minoră, ea permite trei cazuri de utilizare serioase: compararea a două formulări de prompt pe un set de eșantioane, selectarea automată a celui mai bun răspuns dintr-un lot și explorarea spațiului de soluții în loc de acceptarea primului rezultat.
Implicit, n=1, iar API-ul returnează un singur răspuns în choices. Dacă setați n=5, tabloul va conține cinci intrări, fiecare având propriul său index. Observați temperatura setată la 1.0 în exemplul de mai jos: fără o randomizare suficientă, toate cele cinci răspunsuri ar fi identice, rendând apelul inutil.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="ministral-3b-latest",
messages=[
{"role": "user", "content": "What is the best programming language for beginners? One word only."}
],
temperature=1.0, # Temperatură ridicată pentru a maximiza diversitatea
n=5
)
for choice in response.choices:
print(f"Response {choice.index}: {choice.message.content}")
Doi factori determină valoarea practică a acestui parametru. Primul este facturarea: tokenii de intrare sunt taxați o singură dată, deoarece promptul este trimis o singură dată, dar tokenii de ieșire sunt taxați pentru fiecare completare. Cu n=5 și max_tokens=100, limita dvs. de ieșire sare la 500 de tokeni. Acest lucru face ca parametrul n să fie atractiv pentru prompturi lungi—amortizarea unui context mare pe cinci răspunsuri costă semnificativ mai puțin decât efectuarea a cinci apeluri separate.
print(f"Prompt tokens : {response.usage.prompt_tokens}") # Taxat 1x
print(f"Response tokens: {response.usage.completion_tokens}") # Taxat de n ori
print(f"Total : {response.usage.total_tokens}")
Al doilea factor este compatibilitatea: nu toate modelele Mistral suportă n. Începând cu aprilie 2026, versiunile recente ale mistral-large nu suportă n > 1. Utilizați ministral-3b-latest sau alte modele compatibile pentru această funcționalitate—motiv pentru care toate exemplele din această lecție se bazează pe acel model.
Selectarea celui mai bun răspuns
Primul caz de utilizare implică generarea mai multor candidați și păstrarea celui mai bun pe baza unui criteriu definit de dumneavoastră. Mecanismul este intenționat generic: best_of_n acceptă orice funcție de scor, permițându-vă să măsurați ceea ce contează în contextul dumneavoastră—prezența unui cuvânt cheie obligatoriu, validitatea JSON sau respectarea unei lungimi țintă. Funcția length_scorer ilustrează acest ultim criteriu, unde scorul scade proporțional cu abaterea de la lungimea țintă.
def best_of_n(client, messages, n=5, scorer=None, **kwargs):
"""Generează N răspunsuri și îl selectează pe cel mai bun."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.9,
**kwargs
)
candidates = [
{
"index": c.index,
"content": c.message.content,
"score": scorer(c.message.content) if scorer else 0
}
for c in response.choices
]
if scorer:
candidates.sort(key=lambda x: x["score"], reverse=True)
return candidates
# Scorer: lungime adecvată (nici prea scurt, nici prea lung)
def length_scorer(text: str, target=200) -> float:
"""Scor bazat pe proximitatea față de o lungime țintă."""
diff = abs(len(text) - target)
return max(0, 1 - diff / target)
candidates = best_of_n(
client,
[{"role": "user", "content": "Write a summary of generative AI in 2026."}],
n=5,
scorer=length_scorer,
max_tokens=300
)
print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")
Compararea a două prompturi pe un eșantion
Al doilea caz de utilizare este metodologic, nu orientat spre produs. Atunci când decideți între două formulări de prompt, compararea unui singur răspuns cu altul nu dovedește nimic: varianța modelului singură ar putea explica diferența. Generând N răspunsuri pentru fiecare versiune și măsurând lungimea medie și rata răspunsurilor distincte, obțineți dovezi preliminare. Un scor de diversitate de 1.0 pentru un prompt destinat să producă un format stabil este un semnal de alarmă, nu o veste bună.
def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
"""Compară două prompturi generând N răspunsuri pentru fiecare."""
results = {}
for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
response = client.chat.complete(
model="ministral-3b-latest",
messages=[{"role": "user", "content": prompt}],
n=n,
temperature=0.8,
max_tokens=200
)
texts = [c.message.content for c in response.choices]
avg_length = sum(len(t) for t in texts) / len(texts)
unique_ratio = len(set(texts)) / len(texts)
results[label] = {
"avg_length": round(avg_length),
"diversity": round(unique_ratio, 2),
"sample": texts[0][:150]
}
return results
# Test
results = ab_test_prompts(
client,
"Summarize the benefits of Python.",
"List the 3 main benefits of Python in one sentence each."
)
for label, data in results.items():
print(f"\nPrompt {label}:")
print(f" Average length : {data['avg_length']} chars")
print(f" Diversity : {data['diversity']}")
print(f" Sample : {data['sample']}...")
Îmbunătățirea fiabilității clasificării prin vot
Al treilea caz de utilizare oferă cel mai mare randament al investiției (ROI) în producție. Pentru o sarcină de clasificare, un singur răspuns nu vă spune nimic despre încrederea modelului: răspunsul poate fi evident sau poate fi o ghicire la limită între două categorii. Generați șapte răspunsuri, numărați voturile și obțineți atât o etichetă, cât și o rată de încredere acționabilă—o clasificare de 4/7 poate fi direcționată pentru validare umană, în timp ce una de 7/7 trece direct. Utilizarea unui număr impar evită egalitățile.
from collections import Counter
def majority_vote(client, messages, n=7, **kwargs):
"""Clasificare prin vot majoritar peste N completări."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.7,
max_tokens=20,
**kwargs
)
votes = [c.message.content.strip().upper() for c in response.choices]
counts = Counter(votes)
winner, count = counts.most_common(1)[0]
confidence = count / n
return {
"result": winner,
"confidence": round(confidence, 2),
"votes": dict(counts),
"n": n
}
# Clasificare a sentimentului
result = majority_vote(
client,
messages=[
{"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
{"role": "user", "content": "The product is okay but the delivery was very slow."}
],
n=7
)
print(f"Result : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes : {result['votes']}")
Când să utilizați n > 1
Acest parametru nu este justificat peste tot: pentru traficul standard, fiecare completare suplimentară reprezintă un cost de ieșire fără returnare. Tabelul de mai jos rezumă valorile defensabile în funcție de scenariu.
| Scenariu | n recomandat | De ce |
|---|---|---|
| Producție standard | 1 | Cost minim |
| Selecție calitate | 3-5 | Best-of-N pentru text critic |
| Clasificare robustă | 5-9 (impar) | Vot majoritar pentru fiabilitate |
| Testare A/B prompt | 5-10 | Dimensiune eșantion suficientă pentru comparație |
| Brainstorming | 5-10 | Diversitate maximă a ideilor |
Puncte cheie
- Parametrul
ngenerează mai multe răspunsuri într-un singur apel API - Tokenii de intrare sunt taxați o singură dată; tokenii de ieșire sunt înmulțiți cu N
- Nu toate modelele suportă
n > 1—verificați compatibilitatea - Votul majoritar îmbunătățește fiabilitatea clasificării
- Best-of-N selectează cel mai bun răspuns pe baza unui criteriu măsurabil
- Utilizați o temperatură ridicată cu
n > 1pentru a maximiza diversitatea răspunsurilor