N completions
Tällä sivulla
Useiden vastausten luominen yhdellä pyynnöllä
Parametri n kehottaa mallia tuottamaan useita vaihtoehtoisia vastauksia samaan kehotteeseen yhden API-pyynnön sisällä. Vaikka tämä saattaa vaikuttaa pieneltä ominaisuudelta, se mahdollistaa kolme vakavaa käyttötapausta: kahden kehotemuotoilun vertailun otosjoukossa, parhaan vastauksen automaattisen valinnan erästä sekä ratkaisutilan tutkimisen ensimmäisen tuloksen hyväksymisen sijaan.
Oletusarvoisesti n=1, ja API palauttaa yhden vastauksen kenttään choices. Jos asetat arvoksi n=5, taulukko sisältää viisi merkintää, joista jokaisella on oma index. Huomaa alla olevassa esimerkissä lämpötilaksi asetettu 1.0: ilman riittävää satunnaisuutta kaikki viisi vastausta olisivat identtisiä, mikä tekisi pyynnöstä hyödyttömän.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="ministral-3b-latest",
messages=[
{"role": "user", "content": "What is the best programming language for beginners? One word only."}
],
temperature=1.0, # High temperature to maximize diversity
n=5
)
for choice in response.choices:
print(f"Response {choice.index}: {choice.message.content}")
Kaksi tekijää määrittävät tämän parametrin käytännön arvon. Ensimmäinen on laskutus: syöte-tokeneista veloitetaan vain kerran, koska kehotus lähetetään kerran, mutta tuloste-tokeneista veloitetaan jokaisesta valmistuneesta vastauksesta. Kun n=5 ja max_tokens=100, tulostekattosi nousee 500 tokeniin. Tämä on juuri se, mikä tekee parametrista n houkuttelevan pitkille kehotteille – suuren kontekstin jakaminen viidelle vastaukselle maksaa huomattavasti vähemmän kuin viiden erillisen pyynnön tekeminen.
print(f"Prompt tokens : {response.usage.prompt_tokens}") # Charged 1x
print(f"Response tokens: {response.usage.completion_tokens}") # Charged nx
print(f"Total : {response.usage.total_tokens}")
Toinen tekijä on yhteensopivuus: kaikki Mistral-mallit eivät tue parametria n. Huhtikuuhun 2026 mennessä mistral-large-mallin uusimmat versiot eivät tue arvoa n > 1. Käytä tämän ominaisuuden hyödyntämiseen mallia ministral-3b-latest tai muita yhteensopivia malleja – minkä vuoksi kaikki tämän oppitunnin esimerkit perustuvat kyseiseen malliin.
Valitse paras vastaus
Ensimmäinen käyttötapaus liittyy useiden ehdokkaiden tuottamiseen ja parhaan säilyttämiseen määrittämäsi kriteerin perusteella. Mekanismi on tarkoituksellisesti yleinen: best_of_n hyväksyy minkä tahansa pisteytysfunktion, jolloin voit mitata kontekstissasi olennaisia asioita – pakollisen avainsanan esiintymistä, JSONin validiutta tai tavoitepituuden noudattamista. Funktio length_scorer havainnollistaa viimeksi mainittua kriteeriä, jossa pistemäärä laskee suhteessa poikkeamaan tavoitepituudesta.
def best_of_n(client, messages, n=5, scorer=None, **kwargs):
"""Generates N responses and selects the best one."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.9,
**kwargs
)
candidates = [
{
"index": c.index,
"content": c.message.content,
"score": scorer(c.message.content) if scorer else 0
}
for c in response.choices
]
if scorer:
candidates.sort(key=lambda x: x["score"], reverse=True)
return candidates
# Scorer: appropriate length (not too short, not too long)
def length_scorer(text: str, target=200) -> float:
"""Score based on proximity to a target length."""
diff = abs(len(text) - target)
return max(0, 1 - diff / target)
candidates = best_of_n(
client,
[{"role": "user", "content": "Write a summary of generative AI in 2026."}],
n=5,
scorer=length_scorer,
max_tokens=300
)
print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")
Kahden kehotteen vertailu otoksessa
Toinen käyttötapaus on metodologinen eikä tuotelähtöinen. Kun päätät kahden kehotemuotoilun välillä, yhden vastauksen vertaaminen toiseen ei todista mitään: mallin vaihtelu yksinään voisi selittää eron. Tuottamalla N vastausta kummallekin versiolle ja mittaamalla keskipituuden sekä erilaisten vastausten osuuden, saat alustavaa näyttöä. Monimuotoispistemäärä 1.0 kehotteelle, jonka on tarkoitus tuottaa vakaa muoto, on varoitusmerkki, ei hyvä uutinen.
def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
"""Compares two prompts by generating N responses for each."""
results = {}
for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
response = client.chat.complete(
model="ministral-3b-latest",
messages=[{"role": "user", "content": prompt}],
n=n,
temperature=0.8,
max_tokens=200
)
texts = [c.message.content for c in response.choices]
avg_length = sum(len(t) for t in texts) / len(texts)
unique_ratio = len(set(texts)) / len(texts)
results[label] = {
"avg_length": round(avg_length),
"diversity": round(unique_ratio, 2),
"sample": texts[0][:150]
}
return results
# Test
results = ab_test_prompts(
client,
"Summarize the benefits of Python.",
"List the 3 main benefits of Python in one sentence each."
)
for label, data in results.items():
print(f"\nPrompt {label}:")
print(f" Average length : {data['avg_length']} chars")
print(f" Diversity : {data['diversity']}")
print(f" Sample : {data['sample']}...")
Paranna luokittelun luotettavuutta äänestyksellä
Kolmas käyttötapaus tarjoaa korkeimman tuoton (ROI) tuotantoympäristössä. Luokittelutehtävässä yksi vastaus ei kerro mitään mallin varmuudesta: vastaus voi olla ilmeinen, tai se voi olla rajatapaus kahden kategorian välillä. Tuota seitsemän vastausta, laske äänet, ja saat sekä luokan että toimintakelpoisen varmuusasteen – 4/7-luokittelu voidaan ohjata ihmisen tarkistettavaksi, kun taas 7/7 menee suoraan läpi. Parittoman luvun käyttäminen välttää tasatilanteet.
from collections import Counter
def majority_vote(client, messages, n=7, **kwargs):
"""Majority vote classification over N completions."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.7,
max_tokens=20,
**kwargs
)
votes = [c.message.content.strip().upper() for c in response.choices]
counts = Counter(votes)
winner, count = counts.most_common(1)[0]
confidence = count / n
return {
"result": winner,
"confidence": round(confidence, 2),
"votes": dict(counts),
"n": n
}
# Sentiment classification
result = majority_vote(
client,
messages=[
{"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
{"role": "user", "content": "The product is okay but the delivery was very slow."}
],
n=7
)
print(f"Result : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes : {result['votes']}")
Milloin käyttää arvoa n > 1
Tämä parametri ei ole perusteltu kaikkialla: normaalissa liikenteessä jokainen lisävastaus on tulostekustannus ilman vastinetta. Alla oleva taulukko tiivistää puolustettavat arvot skenaarion perusteella.
| Skenaario | Suositeltu n | Miksi |
|---|---|---|
| Normaali tuotanto | 1 | Minimikustannus |
| Laadunvalinta | 3–5 | Best-of-N kriittiselle tekstille |
| Robusti luokittelu | 5–9 (pariton) | Enemmistöäänestys luotettavuuden vuoksi |
| Kehotteen A/B-testaus | 5–10 | Riittävä otoskoko vertailuun |
| Ideointi | 5–10 | Maksimaalinen ideoiden monimuotoisuus |
Keskeiset asiat
- Parametri
ntuottaa useita vastauksia yhdellä API-pyynnöllä - Syötetokeneista veloitetaan kerran; tulostetokenit kerrotaan luvulla N
- Kaikki mallit eivät tue arvoa
n > 1– tarkista yhteensopivuus - Enemmistöäänestys parantaa luokittelun luotettavuutta
- Best-of-N valitsee parhaan vastauksen mitattavan kriteerin perusteella
- Käytä korkeaa lämpötilaa arvon
n > 1kanssa maksimoidaksesi vastausten monimuotoisuuden