Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

N completions

Oppitunti 15 / 16 Päivitetty 2. marraskuuta 2026 Kehittäjä
Tällä sivulla
  1. Useiden vastausten luominen yhdellä pyynnöllä
  2. Valitse paras vastaus
  3. Kahden kehotteen vertailu otoksessa
  4. Paranna luokittelun luotettavuutta äänestyksellä
  5. Milloin käyttää arvoa n > 1
  6. Keskeiset asiat

Useiden vastausten luominen yhdellä pyynnöllä

Parametri n kehottaa mallia tuottamaan useita vaihtoehtoisia vastauksia samaan kehotteeseen yhden API-pyynnön sisällä. Vaikka tämä saattaa vaikuttaa pieneltä ominaisuudelta, se mahdollistaa kolme vakavaa käyttötapausta: kahden kehotemuotoilun vertailun otosjoukossa, parhaan vastauksen automaattisen valinnan erästä sekä ratkaisutilan tutkimisen ensimmäisen tuloksen hyväksymisen sijaan.

Oletusarvoisesti n=1, ja API palauttaa yhden vastauksen kenttään choices. Jos asetat arvoksi n=5, taulukko sisältää viisi merkintää, joista jokaisella on oma index. Huomaa alla olevassa esimerkissä lämpötilaksi asetettu 1.0: ilman riittävää satunnaisuutta kaikki viisi vastausta olisivat identtisiä, mikä tekisi pyynnöstä hyödyttömän.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="ministral-3b-latest",
    messages=[
        {"role": "user", "content": "What is the best programming language for beginners? One word only."}
    ],
    temperature=1.0,  # High temperature to maximize diversity
    n=5
)

for choice in response.choices:
    print(f"Response {choice.index}: {choice.message.content}")

Kaksi tekijää määrittävät tämän parametrin käytännön arvon. Ensimmäinen on laskutus: syöte-tokeneista veloitetaan vain kerran, koska kehotus lähetetään kerran, mutta tuloste-tokeneista veloitetaan jokaisesta valmistuneesta vastauksesta. Kun n=5 ja max_tokens=100, tulostekattosi nousee 500 tokeniin. Tämä on juuri se, mikä tekee parametrista n houkuttelevan pitkille kehotteille – suuren kontekstin jakaminen viidelle vastaukselle maksaa huomattavasti vähemmän kuin viiden erillisen pyynnön tekeminen.

print(f"Prompt tokens  : {response.usage.prompt_tokens}")     # Charged 1x
print(f"Response tokens: {response.usage.completion_tokens}")  # Charged nx
print(f"Total          : {response.usage.total_tokens}")

Toinen tekijä on yhteensopivuus: kaikki Mistral-mallit eivät tue parametria n. Huhtikuuhun 2026 mennessä mistral-large-mallin uusimmat versiot eivät tue arvoa n > 1. Käytä tämän ominaisuuden hyödyntämiseen mallia ministral-3b-latest tai muita yhteensopivia malleja – minkä vuoksi kaikki tämän oppitunnin esimerkit perustuvat kyseiseen malliin.

Valitse paras vastaus

Ensimmäinen käyttötapaus liittyy useiden ehdokkaiden tuottamiseen ja parhaan säilyttämiseen määrittämäsi kriteerin perusteella. Mekanismi on tarkoituksellisesti yleinen: best_of_n hyväksyy minkä tahansa pisteytysfunktion, jolloin voit mitata kontekstissasi olennaisia asioita – pakollisen avainsanan esiintymistä, JSONin validiutta tai tavoitepituuden noudattamista. Funktio length_scorer havainnollistaa viimeksi mainittua kriteeriä, jossa pistemäärä laskee suhteessa poikkeamaan tavoitepituudesta.

def best_of_n(client, messages, n=5, scorer=None, **kwargs):
    """Generates N responses and selects the best one."""
    response = client.chat.complete(
        model="ministral-3b-latest",
        messages=messages,
        n=n,
        temperature=0.9,
        **kwargs
    )

    candidates = [
        {
            "index": c.index,
            "content": c.message.content,
            "score": scorer(c.message.content) if scorer else 0
        }
        for c in response.choices
    ]

    if scorer:
        candidates.sort(key=lambda x: x["score"], reverse=True)

    return candidates

# Scorer: appropriate length (not too short, not too long)
def length_scorer(text: str, target=200) -> float:
    """Score based on proximity to a target length."""
    diff = abs(len(text) - target)
    return max(0, 1 - diff / target)

candidates = best_of_n(
    client,
    [{"role": "user", "content": "Write a summary of generative AI in 2026."}],
    n=5,
    scorer=length_scorer,
    max_tokens=300
)

print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")

Kahden kehotteen vertailu otoksessa

Toinen käyttötapaus on metodologinen eikä tuotelähtöinen. Kun päätät kahden kehotemuotoilun välillä, yhden vastauksen vertaaminen toiseen ei todista mitään: mallin vaihtelu yksinään voisi selittää eron. Tuottamalla N vastausta kummallekin versiolle ja mittaamalla keskipituuden sekä erilaisten vastausten osuuden, saat alustavaa näyttöä. Monimuotoispistemäärä 1.0 kehotteelle, jonka on tarkoitus tuottaa vakaa muoto, on varoitusmerkki, ei hyvä uutinen.

def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
    """Compares two prompts by generating N responses for each."""
    results = {}

    for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
        response = client.chat.complete(
            model="ministral-3b-latest",
            messages=[{"role": "user", "content": prompt}],
            n=n,
            temperature=0.8,
            max_tokens=200
        )

        texts = [c.message.content for c in response.choices]
        avg_length = sum(len(t) for t in texts) / len(texts)
        unique_ratio = len(set(texts)) / len(texts)

        results[label] = {
            "avg_length": round(avg_length),
            "diversity": round(unique_ratio, 2),
            "sample": texts[0][:150]
        }

    return results

# Test
results = ab_test_prompts(
    client,
    "Summarize the benefits of Python.",
    "List the 3 main benefits of Python in one sentence each."
)

for label, data in results.items():
    print(f"\nPrompt {label}:")
    print(f"  Average length : {data['avg_length']} chars")
    print(f"  Diversity      : {data['diversity']}")
    print(f"  Sample         : {data['sample']}...")

Paranna luokittelun luotettavuutta äänestyksellä

Kolmas käyttötapaus tarjoaa korkeimman tuoton (ROI) tuotantoympäristössä. Luokittelutehtävässä yksi vastaus ei kerro mitään mallin varmuudesta: vastaus voi olla ilmeinen, tai se voi olla rajatapaus kahden kategorian välillä. Tuota seitsemän vastausta, laske äänet, ja saat sekä luokan että toimintakelpoisen varmuusasteen – 4/7-luokittelu voidaan ohjata ihmisen tarkistettavaksi, kun taas 7/7 menee suoraan läpi. Parittoman luvun käyttäminen välttää tasatilanteet.

from collections import Counter

def majority_vote(client, messages, n=7, **kwargs):
    """Majority vote classification over N completions."""
    response = client.chat.complete(
        model="ministral-3b-latest",
        messages=messages,
        n=n,
        temperature=0.7,
        max_tokens=20,
        **kwargs
    )

    votes = [c.message.content.strip().upper() for c in response.choices]
    counts = Counter(votes)
    winner, count = counts.most_common(1)[0]
    confidence = count / n

    return {
        "result": winner,
        "confidence": round(confidence, 2),
        "votes": dict(counts),
        "n": n
    }

# Sentiment classification
result = majority_vote(
    client,
    messages=[
        {"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
        {"role": "user", "content": "The product is okay but the delivery was very slow."}
    ],
    n=7
)

print(f"Result    : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes     : {result['votes']}")

Milloin käyttää arvoa n > 1

Tämä parametri ei ole perusteltu kaikkialla: normaalissa liikenteessä jokainen lisävastaus on tulostekustannus ilman vastinetta. Alla oleva taulukko tiivistää puolustettavat arvot skenaarion perusteella.

SkenaarioSuositeltu nMiksi
Normaali tuotanto1Minimikustannus
Laadunvalinta3–5Best-of-N kriittiselle tekstille
Robusti luokittelu5–9 (pariton)Enemmistöäänestys luotettavuuden vuoksi
Kehotteen A/B-testaus5–10Riittävä otoskoko vertailuun
Ideointi5–10Maksimaalinen ideoiden monimuotoisuus

Keskeiset asiat

  • Parametri n tuottaa useita vastauksia yhdellä API-pyynnöllä
  • Syötetokeneista veloitetaan kerran; tulostetokenit kerrotaan luvulla N
  • Kaikki mallit eivät tue arvoa n > 1 – tarkista yhteensopivuus
  • Enemmistöäänestys parantaa luokittelun luotettavuutta
  • Best-of-N valitsee parhaan vastauksen mitattavan kriteerin perusteella
  • Käytä korkeaa lämpötilaa arvon n > 1 kanssa maksimoidaksesi vastausten monimuotoisuuden