Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

N completions

15. lecke 16 közül Frissítve 2026. november 2. Fejlesztő
Ezen az oldalon
  1. Több válasz generálása egyetlen hívásban
  2. A legjobb válasz kiválasztása
  3. Két prompt összehasonlítása egy mintán
  4. Osztályozási megbízhatóság javítása szavazással
  5. Mikor használd az n > 1 értéket?
  6. Főbb megállapítások

Több válasz generálása egyetlen hívásban

Az n paraméter utasítja a modellt, hogy több alternatív választ adjon ugyanarra a promptra egyetlen API-kérésen belül. Bár ez apróságnak tűnhet, három komoly felhasználási esetet tesz lehetővé: két prompt-formuláció összehasonlítása egy mintahalmazon, a legjobb válasz automatikus kiválasztása egy kötegből, valamint a megoldási tér feltárása az első kimenet vak elfogadása helyett.

Alapértelmezés szerint n=1, és az API egyetlen választ ad vissza a choices mezőben. Ha n=5-öt állítasz be, a tömb öt elemet tartalmaz, mindegyik saját indexszel. Figyeld meg az alábbi példában a 1,0-ra állított hőmérsékletet: megfelelő véletlenszerűsítés nélkül mind az öt válasz azonos lenne, így a hívás haszontalan lenne.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="ministral-3b-latest",
    messages=[
        {"role": "user", "content": "What is the best programming language for beginners? One word only."}
    ],
    temperature=1.0,  # High temperature to maximize diversity
    n=5
)

for choice in response.choices:
    print(f"Response {choice.index}: {choice.message.content}")

Két tényező határozza meg e paraméter gyakorlati értékét. Az első a számlázás: a bemeneti tokenek díja csak egyszer merül fel, mivel a promptot egyszer küldjük el, de a kimeneti tokenekért minden egyes completion után fizetni kell. n=5 és max_tokens=100 esetén a kimeneti kereted 500 tokenre ugrik. Pontosan ez teszi vonzóvá az n paramétert hosszú promptoknál: egy nagy kontextus költségének szétosztása öt válasz között jelentősen olcsóbb, mint öt külön hívás indítása.

print(f"Prompt tokens  : {response.usage.prompt_tokens}")     # Charged 1x
print(f"Response tokens: {response.usage.completion_tokens}")  # Charged nx
print(f"Total          : {response.usage.total_tokens}")

A második tényező a kompatibilitás: nem minden Mistral modell támogatja az n paramétert. 2026 áprilisától a mistral-large legfrissebb verziói nem támogatják az n > 1 értéket. Ehhez a funkcióhoz használd a ministral-3b-latest vagy más kompatibilis modelleket – ezért támaszkodik e lecke minden példája erre a modellre.

A legjobb válasz kiválasztása

Az első felhasználási eset több jelölt generálását és a legjobb megtartását jelenti egy általad meghatározott kritérium alapján. A mechanizmus szándékosan általános: a best_of_n bármilyen pontozó függvényt elfogad, lehetővé téve, hogy azt mérd, ami a te kontextusodban számít – legyen szó egy kötelező kulcsszó jelenlétéről, JSON érvényességről vagy egy célméret betartásáról. A length_scorer függvény ezt utóbbi kritériumot illusztrálja, ahol a pontszám arányosan csökken a célmérettől való eltéréssel.

def best_of_n(client, messages, n=5, scorer=None, **kwargs):
    """Generates N responses and selects the best one."""
    response = client.chat.complete(
        model="ministral-3b-latest",
        messages=messages,
        n=n,
        temperature=0.9,
        **kwargs
    )

    candidates = [
        {
            "index": c.index,
            "content": c.message.content,
            "score": scorer(c.message.content) if scorer else 0
        }
        for c in response.choices
    ]

    if scorer:
        candidates.sort(key=lambda x: x["score"], reverse=True)

    return candidates

# Scorer: appropriate length (not too short, not too long)
def length_scorer(text: str, target=200) -> float:
    """Score based on proximity to a target length."""
    diff = abs(len(text) - target)
    return max(0, 1 - diff / target)

candidates = best_of_n(
    client,
    [{"role": "user", "content": "Write a summary of generative AI in 2026."}],
    n=5,
    scorer=length_scorer,
    max_tokens=300
)

print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")

Két prompt összehasonlítása egy mintán

A második felhasználási eset módszertani jellegű, nem termékfókuszú. Két prompt-formuláció közötti döntéskor egyetlen válasz összehasonlítása egy másikkal semmit sem bizonyít: a különbséget magyarázhatja pusztán a modell varianciája is. Ha mindkét verzióhoz N választ generálsz, és méred az átlagos hosszúságot, valamint az egyedi válaszok arányát, előzetes bizonyítékot kapsz. Egy 1,0-es diverzitási pontszám egy stabil formátumot előállítani hivatott promptnál vörös zászló, nem jó hír.

def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
    """Compares two prompts by generating N responses for each."""
    results = {}

    for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
        response = client.chat.complete(
            model="ministral-3b-latest",
            messages=[{"role": "user", "content": prompt}],
            n=n,
            temperature=0.8,
            max_tokens=200
        )

        texts = [c.message.content for c in response.choices]
        avg_length = sum(len(t) for t in texts) / len(texts)
        unique_ratio = len(set(texts)) / len(texts)

        results[label] = {
            "avg_length": round(avg_length),
            "diversity": round(unique_ratio, 2),
            "sample": texts[0][:150]
        }

    return results

# Test
results = ab_test_prompts(
    client,
    "Summarize the benefits of Python.",
    "List the 3 main benefits of Python in one sentence each."
)

for label, data in results.items():
    print(f"\nPrompt {label}:")
    print(f"  Average length : {data['avg_length']} chars")
    print(f"  Diversity      : {data['diversity']}")
    print(f"  Sample         : {data['sample']}...")

Osztályozási megbízhatóság javítása szavazással

A harmadik felhasználási eset kínálja a legnagyobb megtérülést (ROI) éles környezetben. Osztályozási feladatnál egyetlen válasz semmit nem árul el a modell magabiztosságáról: a válasz lehet nyilvánvaló, de lehet határeset is két kategória között. Generálj hét választ, számold meg a szavazatokat, és máris kapsz egy címkét és egy cselekvőképes megbízhatósági rátát – egy 4/7-es osztályozás emberi validálásra irányítható, míg egy 7/7-es közvetlenül továbbhalad. Páratlan szám használata elkerüli a döntetlen helyzeteket.

from collections import Counter

def majority_vote(client, messages, n=7, **kwargs):
    """Majority vote classification over N completions."""
    response = client.chat.complete(
        model="ministral-3b-latest",
        messages=messages,
        n=n,
        temperature=0.7,
        max_tokens=20,
        **kwargs
    )

    votes = [c.message.content.strip().upper() for c in response.choices]
    counts = Counter(votes)
    winner, count = counts.most_common(1)[0]
    confidence = count / n

    return {
        "result": winner,
        "confidence": round(confidence, 2),
        "votes": dict(counts),
        "n": n
    }

# Sentiment classification
result = majority_vote(
    client,
    messages=[
        {"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
        {"role": "user", "content": "The product is okay but the delivery was very slow."}
    ],
    n=7
)

print(f"Result    : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes     : {result['votes']}")

Mikor használd az n > 1 értéket?

Ez a paraméter nem mindenhol indokolt: szabványos forgalom esetén minden további completion kimeneti költség megtérülés nélkül. Az alábbi táblázat összefoglalja a forgatókönyvek alapján védhető értékeket.

ForgatókönyvAjánlott nMiért
Szabványos éles környezet1Minimális költség
Minőségi kiválasztás3-5Best-of-N kritikus szövegeknél
Robusztus osztályozás5-9 (páratlan)Többségi szavazás a megbízhatóságért
Prompt A/B tesztelés5-10Elég nagy minta az összehasonlításhoz
Ötletelés (Brainstorming)5-10Maximális ötletdiverzitás

Főbb megállapítások

  • Az n paraméter több választ generál egyetlen API-hívásban
  • A bemeneti tokenek díja egyszer merül fel; a kimeneti tokenek száma N-szereződik
  • Nem minden modell támogatja az n > 1 értéket – ellenőrizd a kompatibilitást
  • A többségi szavazás javítja az osztályozás megbízhatóságát
  • A Best-of-N kiválasztja a legjobb választ egy mérhető kritérium alapján
  • Használj magas hőmérsékletet n > 1 esetén a válaszok diverzitásának maximalizálásához