N completions
Šajā lapā
Ģenerē vairākas atbildes vienā izsaukumā
Parametrs n norāda modelim ģenerēt vairākas alternatīvas atbildes uz vienu un to pašu pieprasījumu viena API pieprasījuma ietvaros. Lai gan tas var šķist neliela funkcija, tas ļauj īstenot trīs nopietnus lietojumgadījumus: divu pieprasījumu formulējumu salīdzināšanu paraugu kopā, automātisku labākās atbildes atlasi no partijas un risinājumu telpas izpēti, neapstājoties pie pirmā rezultāta.
Pēc noklusējuma n=1, un API atgriež vienu atbildi masīvā choices. Ja iestati n=5, masīvs satur piecus ierakstus, katram ar savu index. Ņem vērā, ka zemāk redzamajā piemērā temperatūra ir iestatīta uz 1.0: bez pietiekamas nejaušināšanas visas piecas atbildes būtu identiskas, padarot izsaukumu bezjēdzīgu.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="ministral-3b-latest",
messages=[
{"role": "user", "content": "What is the best programming language for beginners? One word only."}
],
temperature=1.0, # High temperature to maximize diversity
n=5
)
for choice in response.choices:
print(f"Response {choice.index}: {choice.message.content}")
Divi faktori nosaka šī parametra praktisko vērtību. Pirmais ir rēķinu veidošana: par ievades tokeniem tiek maksāts tikai vienreiz, jo pieprasījums tiek nosūtīts vienu reizi, bet par izvades tokeniem tiek maksāts par katru pabeigto atbildi. Ar n=5 un max_tokens=100 tavs izvades limits pieaug līdz 500 tokeniem. Tieši tas padara n pievilcīgu gariem pieprasījumiem – liela konteksta izmaksas, sadalītas starp piecām atbildēm, ir ievērojami zemākas nekā piecu atsevišķu izsaukumu veikšana.
print(f"Prompt tokens : {response.usage.prompt_tokens}") # Charged 1x
print(f"Response tokens: {response.usage.completion_tokens}") # Charged nx
print(f"Total : {response.usage.total_tokens}")
Otrais faktors ir saderība: ne visi Mistral modeļi atbalsta n. Sākot ar 2026. gada aprīli, jaunākās mistral-large versijas neatbalsta n > 1. Izmanto ministral-3b-latest vai citus saderīgus modeļus šai funkcijai – tieši tāpēc visi šīs nodarbības piemēri balstās uz šo modeli.
Atlasī labāko atbildi
Pirmais lietojumgadījums ietver vairāku kandidātu ģenerēšanu un labākā saglabāšanu, pamatojoties uz tavu definētu kritēriju. Mehānisms ir apzināti vispārīgs: best_of_n pieņem jebkuru vērtēšanas funkciju, ļaujot tev mērīt to, kas tavā kontekstā ir svarīgi – obligāta atslēgvārda esamību, JSON derīgumu vai atbilstību mērķa garumam. Funkcija length_scorer ilustrē pēdējo kritēriju, kur vērtējums samazinās proporcionāli novirzei no mērķa garuma.
def best_of_n(client, messages, n=5, scorer=None, **kwargs):
"""Generates N responses and selects the best one."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.9,
**kwargs
)
candidates = [
{
"index": c.index,
"content": c.message.content,
"score": scorer(c.message.content) if scorer else 0
}
for c in response.choices
]
if scorer:
candidates.sort(key=lambda x: x["score"], reverse=True)
return candidates
# Scorer: appropriate length (not too short, not too long)
def length_scorer(text: str, target=200) -> float:
"""Score based on proximity to a target length."""
diff = abs(len(text) - target)
return max(0, 1 - diff / target)
candidates = best_of_n(
client,
[{"role": "user", "content": "Write a summary of generative AI in 2026."}],
n=5,
scorer=length_scorer,
max_tokens=300
)
print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")
Salīdzini divus pieprasījumus paraugā
Otrais lietojumgadījums ir metodoloģisks, nevis produkta orientēts. Izvēloties starp diviem pieprasījumu formulējumiem, vienas atbildes salīdzināšana ar citu neko nepierāda: atšķirību varētu izskaidrot vienkārši modeļa variācija. Ģenerējot N atbildes katrai versijai un mērot vidējo garumu un atšķirīgu atbilžu īpatsvaru, tu iegūsti sākotnējus pierādījumus. Dažādības rādītājs 1.0 pieprasījumam, kam paredzēts radīt stabilu formātu, ir brīdinājuma zīme, nevis laba ziņa.
def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
"""Compares two prompts by generating N responses for each."""
results = {}
for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
response = client.chat.complete(
model="ministral-3b-latest",
messages=[{"role": "user", "content": prompt}],
n=n,
temperature=0.8,
max_tokens=200
)
texts = [c.message.content for c in response.choices]
avg_length = sum(len(t) for t in texts) / len(texts)
unique_ratio = len(set(texts)) / len(texts)
results[label] = {
"avg_length": round(avg_length),
"diversity": round(unique_ratio, 2),
"sample": texts[0][:150]
}
return results
# Test
results = ab_test_prompts(
client,
"Summarize the benefits of Python.",
"List the 3 main benefits of Python in one sentence each."
)
for label, data in results.items():
print(f"\nPrompt {label}:")
print(f" Average length : {data['avg_length']} chars")
print(f" Diversity : {data['diversity']}")
print(f" Sample : {data['sample']}...")
Uzlabo klasifikācijas uzticamību, balsojot
Trešais lietojumgadījums piedāvā visaugstāko atdevi (ROI) ražošanas vidē. Klasifikācijas uzdevumam viena atbilde neko nepasaka par modeļa pārliecību: atbilde var būt acīmredzama, vai arī tā var būt robežgadījuma minējums starp divām kategorijām. Ģenerē septiņas atbildes, saskaiti balsis, un tu iegūsti gan etiķeti, gan izmantojamu pārliecības rādītāju – klasifikāciju 4/7 var novirzīt cilvēka validācijai, savukārt 7/7 iziet cauri tieši. Nepāra skaitļa izmantošana izvairās no neizšķirtiem.
from collections import Counter
def majority_vote(client, messages, n=7, **kwargs):
"""Majority vote classification over N completions."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.7,
max_tokens=20,
**kwargs
)
votes = [c.message.content.strip().upper() for c in response.choices]
counts = Counter(votes)
winner, count = counts.most_common(1)[0]
confidence = count / n
return {
"result": winner,
"confidence": round(confidence, 2),
"votes": dict(counts),
"n": n
}
# Sentiment classification
result = majority_vote(
client,
messages=[
{"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
{"role": "user", "content": "The product is okay but the delivery was very slow."}
],
n=7
)
print(f"Result : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes : {result['votes']}")
Kad lietot n > 1
Šis parametrs nav attaisnojams visur: standarta satiksmē katra papildu pabeigta atbilde ir izvades izmaksas bez atdeves. Zemāk esošajā tabulā apkopotas pamatotas vērtības atkarībā no scenārija.
| Scenārijs | Ieteicamais n | Kāpēc |
|---|---|---|
| Standarta ražošana | 1 | Minimālas izmaksas |
| Kvalitātes atlase | 3-5 | Labākais no N kritiskam tekstam |
| Robusta klasifikācija | 5-9 (nepāra) | Balsu vairākums uzticamībai |
| Pieprasījumu A/B testēšana | 5-10 | Pietiekams parauga lielums salīdzinājumam |
| Ideju ģenerēšana | 5-10 | Maksimāla ideju dažādība |
Galvenās atziņas
- Parametrs
nģenerē vairākas atbildes vienā API izsaukumā - Par ievades tokeniem maksā vienreiz; izvades tokeni tiek reizināti ar N
- Ne visi modeļi atbalsta
n > 1– pārbaudi saderību - Balsu vairākums uzlabo klasifikācijas uzticamību
- „Labākais no N” atlasa labāko atbildi, balstoties uz izmērāmu kritēriju
- Izmanto augstu temperatūru kopā ar
n > 1, lai maksimāli palielinātu atbilžu dažādību