N completions
Sellel lehel
Mitme vastuse genereerimine ühes päringus
Parameeter n annab mudelile korralduse luua mitu alternatiivset vastust samale sisendile ühe API-päringu raames. Kuigi see võib tunduda väikese funktsioonina, võimaldab see kolme tõsist kasutusjuhtu: kahe erineva sisendi võrdlemist valimis, parima vastuse automaatset valimist partiist ning lahendusruumi uurimist esimese tulemuse pimesi aktsepteerimise asemel.
Vaikimisi on n=1 ja API tagastab massiivis choices ühe vastuse. Kui määrad n=5, sisaldab massiiv viit kirjet, millest igaühel on oma index. Pane tähele, et allpool toodud näites on temperatuuriks seatud 1,0: ilma piisava juhuslikkuseta oleksid kõik viis vastust identsed, muutes päringu kasutuks.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="ministral-3b-latest",
messages=[
{"role": "user", "content": "What is the best programming language for beginners? One word only."}
],
temperature=1.0, # High temperature to maximize diversity
n=5
)
for choice in response.choices:
print(f"Response {choice.index}: {choice.message.content}")
Selle parameetri praktilist väärtust määravad kaks tegurit. Esimene on arveldus: sisend-tokeneid arvestatakse ainult üks kord, kuna sisend saadetakse ühe korraga, kuid väljund-tokeneid arvestatakse iga lõpetuse eest eraldi. Kui n=5 ja max_tokens=100, kasvab sinu väljundi limiit 500 tokenini. Just see teeb n-i atraktiivseks pikkade sisendite puhul – suure konteksti amortiseerimine viie vastuse vahel maksab oluliselt vähem kui viie eraldiseisva päringu tegemine.
print(f"Prompt tokens : {response.usage.prompt_tokens}") # Charged 1x
print(f"Response tokens: {response.usage.completion_tokens}") # Charged nx
print(f"Total : {response.usage.total_tokens}")
Teine tegur on ühilduvus: kõik Mistrali mudelid ei toeta parameetrit n. Alates 2026. aasta aprillist ei toeta mistral-largei uusimad versioonid väärtust n > 1. Kasuta selle funktsiooni jaoks mudelit ministral-3b-latest või muid ühilduvaid mudeleid – seetõttu põhinevad kõik selle õppetüki näited just sellel mudelil.
Parima vastuse valimine
Esimene kasutusjuhtum hõlmab mitme kandidaadi genereerimist ja parima säilitamist sinu määratud kriteeriumi alusel. Mehhanism on tahtlikult üldine: best_of_n aktsepteerib ükskõik millist hindamisfunktsiooni, võimaldades mõõta seda, mis sinu kontekstis loeb – kohustusliku märksõna olemasolu, JSON-i kehtivust või sihtpikkusest kinnipidamist. Funktsioon length_scorer illustreerib viimast kriteeriumi, kus skoor väheneb proportsionaalselt kõrvalekaldega sihtpikkusest.
def best_of_n(client, messages, n=5, scorer=None, **kwargs):
"""Generates N responses and selects the best one."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.9,
**kwargs
)
candidates = [
{
"index": c.index,
"content": c.message.content,
"score": scorer(c.message.content) if scorer else 0
}
for c in response.choices
]
if scorer:
candidates.sort(key=lambda x: x["score"], reverse=True)
return candidates
# Scorer: appropriate length (not too short, not too long)
def length_scorer(text: str, target=200) -> float:
"""Score based on proximity to a target length."""
diff = abs(len(text) - target)
return max(0, 1 - diff / target)
candidates = best_of_n(
client,
[{"role": "user", "content": "Write a summary of generative AI in 2026."}],
n=5,
scorer=length_scorer,
max_tokens=300
)
print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")
Kahe sisendi võrdlemine valimis
Teine kasutusjuhtum on metodoloogiline, mitte tootepõhine. Kahe sisendi variandi vahel otsustamisel ei tõesta ühe vastuse võrdlemine teisega midagi: erinevuse põhjuseks võib olla lihtsalt mudeli varieeruvus. Genereerides N vastust iga versiooni jaoks ja mõõtes keskmist pikkust ning erinevate vastuste määra, saad esialgseid tõendeid. Mitmekesisuse skoor 1,0 sisendil, mis peaks tootma stabiilset vormingut, on punane lipp, mitte hea uudis.
def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
"""Compares two prompts by generating N responses for each."""
results = {}
for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
response = client.chat.complete(
model="ministral-3b-latest",
messages=[{"role": "user", "content": prompt}],
n=n,
temperature=0.8,
max_tokens=200
)
texts = [c.message.content for c in response.choices]
avg_length = sum(len(t) for t in texts) / len(texts)
unique_ratio = len(set(texts)) / len(texts)
results[label] = {
"avg_length": round(avg_length),
"diversity": round(unique_ratio, 2),
"sample": texts[0][:150]
}
return results
# Test
results = ab_test_prompts(
client,
"Summarize the benefits of Python.",
"List the 3 main benefits of Python in one sentence each."
)
for label, data in results.items():
print(f"\nPrompt {label}:")
print(f" Average length : {data['avg_length']} chars")
print(f" Diversity : {data['diversity']}")
print(f" Sample : {data['sample']}...")
Klassifitseerimise usaldusväärsuse parandamine hääletuse teel
Kolmas kasutusjuhtum pakub tootmises suurimat tootlust (ROI). Klassifitseerimisülesande puhul ei ütle üksik vastus midagi mudeli kindluse kohta: vastus võib olla ilmne või võib tegemist olla kahe kategooria vahelise piiripealse arvamisega. Genereeri seitse vastust, loe hääled ja saad nii sildi kui ka rakendatava usaldusmäära – 4/7 klassifitseerimise saab suunata inimkontrolliks, samas kui 7/7 läbib süsteemi otse. Paarisarvu kasutamine väldib viike.
from collections import Counter
def majority_vote(client, messages, n=7, **kwargs):
"""Majority vote classification over N completions."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.7,
max_tokens=20,
**kwargs
)
votes = [c.message.content.strip().upper() for c in response.choices]
counts = Counter(votes)
winner, count = counts.most_common(1)[0]
confidence = count / n
return {
"result": winner,
"confidence": round(confidence, 2),
"votes": dict(counts),
"n": n
}
# Sentiment classification
result = majority_vote(
client,
messages=[
{"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
{"role": "user", "content": "The product is okay but the delivery was very slow."}
],
n=7
)
print(f"Result : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes : {result['votes']}")
Millal kasutada n > 1
See parameeter ei ole kõikjal õigustatud: standardses liikluses on iga täiendav lõpetus väljundikulu ilma lisaväärtuseta. Allpool olev tabel võtab kokku stsenaariumipõhised põhjendatud väärtused.
| Stsenaarium | Soovitatav n | Miks |
|---|---|---|
| Standardne tootmine | 1 | Minimaalne kulu |
| Kvaliteedi valik | 3-5 | Kriitilise teksti jaoks parim N-st |
| Tugev klassifitseerimine | 5-9 (paaritu) | Usaldusväärsuse tagamiseks enamushääl |
| Sisendi A/B-testimine | 5-10 | Võrdluseks piisav valimi suurus |
| Ideede genereerimine | 5-10 | Maksimaalne ideede mitmekesisus |
Peamised punktid
- Parameeter
ngenereerib ühes API-päringus mitu vastust - Sisendtokeneid arvestatakse üks kord; väljundtokeneid korrutatakse N-ga
- Kõik mudelid ei toeta väärtust
n > 1– kontrolli ühilduvust - Enamushääl parandab klassifitseerimise usaldusväärsust
- Parim N-st valib mõõdetava kriteeriumi põhjal parima vastuse
- Kasuta
n > 1korral kõrget temperatuuri, et maksimeerida vastuste mitmekesisust