Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Parameter n: viacero doplnení

Lekcia 15 z 16 Aktualizované 2. novembra 2026 Vývojár
Na tejto strane
  1. Generovanie viacerých odpovedí v jednom volaní
  2. Výber najlepšej odpovede
  3. Porovnanie dvoch promptov na vzorke
  4. Zlepšenie spoľahlivosti klasifikácie hlasovaním
  5. Kedy použiť n > 1
  6. Kľúčové poznatky

Generovanie viacerých odpovedí v jednom volaní

Parameter n prikazuje modelu, aby v rámci jednej požiadavky API vygeneroval viacero alternatívnych odpovedí na rovnaký prompt. Hoci sa to môže zdať ako drobnosť, tento parameter umožňuje tri závažné prípady použitia: porovnanie dvoch formulácií promptov na vzorke, automatický výber najlepšej odpovede z dávky a preskúmanie priestoru riešení namiesto akceptovania prvého výstupu.

Predvolená hodnota je n=1 a API vráti v poli choices jedinú odpoveď. Ak nastavíš n=5, pole bude obsahovať päť záznamov, pričom každý má vlastné index. Všimni si teplotu nastavenú na 1,0 v príklade nižšie: bez dostatočnej náhodnosti by všetkých päť odpovedí bolo identických, čo by celé volanie zbytočné.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="ministral-3b-latest",
    messages=[
        {"role": "user", "content": "What is the best programming language for beginners? One word only."}
    ],
    temperature=1.0,  # Vysoká teplota pre maximalizáciu rozmanitosti
    n=5
)

for choice in response.choices:
    print(f"Response {choice.index}: {choice.message.content}")

Praktickú hodnotu tohto parametra určujú dva faktory. Prvým je fakturácia: tokeny vstupu sa účtujú iba raz, keďže prompt sa odosiela len jedenkrát, ale tokeny výstupu sa účtujú za každé dokončenie. Pri n=5 a max_tokens=100 sa tvoj limit výstupných tokenov zvýši na 500. Práve to robí parameter n atraktívnym pre dlhé prompty – amortizácia veľkého kontextu naprieč piatimi odpoveďami stojí výrazne menej než uskutočnenie piatich samostatných volaní.

print(f"Prompt tokens  : {response.usage.prompt_tokens}")     # Účtované 1x
print(f"Response tokens: {response.usage.completion_tokens}")  # Účtované nx
print(f"Total          : {response.usage.total_tokens}")

Druhým faktorom je kompatibilita: nie všetky modely Mistral podporujú parameter n. K aprílu 2026 najnovšie verzie modelu mistral-large nepodporujú n > 1. Pre túto funkciu použij model ministral-3b-latest alebo iné kompatibilné modely – preto sa všetky príklady v tejto lekcii spoliehajú práve na tento model.

Výber najlepšej odpovede

Prvý prípad použitia zahŕňa generovanie viacerých kandidátov a ponechanie si toho najlepšieho na základe tebou definovaného kritéria. Mechanizmus je zámerne všeobecný: funkcia best_of_n akceptuje ľubovoľnú skórovaciu funkciu, čo ti umožňuje merať to, na čom vo tvojom kontexte záleží – prítomnosť povinného kľúčového slova, platnosť JSON alebo dodržanie cieľovej dĺžky. Funkcia length_scorer ilustruje toto posledné kritérium, kde skóre klesá úmerne s odchýlkou od cieľovej dĺžky.

def best_of_n(client, messages, n=5, scorer=None, **kwargs):
    """Generuje N odpovedí a vyberie tú najlepšiu."""
    response = client.chat.complete(
        model="ministral-3b-latest",
        messages=messages,
        n=n,
        temperature=0.9,
        **kwargs
    )

    candidates = [
        {
            "index": c.index,
            "content": c.message.content,
            "score": scorer(c.message.content) if scorer else 0
        }
        for c in response.choices
    ]

    if scorer:
        candidates.sort(key=lambda x: x["score"], reverse=True)

    return candidates

# Skórer: vhodná dĺžka (nie príliš krátka, nie príliš dlhá)
def length_scorer(text: str, target=200) -> float:
    """Skóre založené na blízkosti k cieľovej dĺžke."""
    diff = abs(len(text) - target)
    return max(0, 1 - diff / target)

candidates = best_of_n(
    client,
    [{"role": "user", "content": "Write a summary of generative AI in 2026."}],
    n=5,
    scorer=length_scorer,
    max_tokens=300
)

print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")

Porovnanie dvoch promptov na vzorke

Druhý prípad použitia je skôr metodologický než produktový. Keď sa rozhoduješ medzi dvoma formuláciami promptu, porovnanie jednej odpovede s druhou nič nepreukazuje: rozdiel by mohla spôsobovať samotná variabilita modelu. Vygenerovaním N odpovedí pre každú verziu a meraním priemernej dĺžky a miery odlišných odpovedí získaš predbežné dôkazy. Skóre rozmanitosti 1,0 pri prompte určenom na produkciu stabilného formátu je varovným signálom, nie dobrou správou.

def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
    """Porovná dva prompty vygenerovaním N odpovedí pre každý."""
    results = {}

    for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
        response = client.chat.complete(
            model="ministral-3b-latest",
            messages=[{"role": "user", "content": prompt}],
            n=n,
            temperature=0.8,
            max_tokens=200
        )

        texts = [c.message.content for c in response.choices]
        avg_length = sum(len(t) for t in texts) / len(texts)
        unique_ratio = len(set(texts)) / len(texts)

        results[label] = {
            "avg_length": round(avg_length),
            "diversity": round(unique_ratio, 2),
            "sample": texts[0][:150]
        }

    return results

# Test
results = ab_test_prompts(
    client,
    "Summarize the benefits of Python.",
    "List the 3 main benefits of Python in one sentence each."
)

for label, data in results.items():
    print(f"\nPrompt {label}:")
    print(f"  Average length : {data['avg_length']} chars")
    print(f"  Diversity      : {data['diversity']}")
    print(f"  Sample         : {data['sample']}...")

Zlepšenie spoľahlivosti klasifikácie hlasovaním

Tretí prípad použitia ponúka v produkcii najvyššiu návratnosť investícií (ROI). Pri úlohe klasifikácie ti jedna odpoveď nič nepovie o istote modelu: odpoveď môže byť zrejmá, alebo môže ísť o hraničný odhad medzi dvoma kategóriami. Vygeneruj sedem odpovedí, spočítaj hlasy a získaš nielen označenie, ale aj použiteľnú mieru istoty – klasifikácia 4/7 môže byť smerovaná na ľudskú validáciu, zatiaľ čo 7/7 prejde priamo. Použitie nepárneho čísla predchádza remízam.

from collections import Counter

def majority_vote(client, messages, n=7, **kwargs):
    """Klasifikácia väčšinovým hlasovaním nad N doplneniami."""
    response = client.chat.complete(
        model="ministral-3b-latest",
        messages=messages,
        n=n,
        temperature=0.7,
        max_tokens=20,
        **kwargs
    )

    votes = [c.message.content.strip().upper() for c in response.choices]
    counts = Counter(votes)
    winner, count = counts.most_common(1)[0]
    confidence = count / n

    return {
        "result": winner,
        "confidence": round(confidence, 2),
        "votes": dict(counts),
        "n": n
    }

# Klasifikácia sentimentu
result = majority_vote(
    client,
    messages=[
        {"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
        {"role": "user", "content": "The product is okay but the delivery was very slow."}
    ],
    n=7
)

print(f"Result    : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes     : {result['votes']}")

Kedy použiť n > 1

Tento parameter nie je opodstatnený všade: pri štandardnej prevádzke je každé ďalšie dokončenie nákladom na výstupné tokeny bez návratnosti. Nižšie uvedená tabuľka sumarizuje obhájiteľné hodnoty na základe scenára.

ScenárOdporúčané nPrečo
Štandardná produkcia1Minimálne náklady
Výber kvality3-5Best-of-N pre kritický text
Robustná klasifikácia5-9 (nepárne)Väčšinové hlasovanie pre spoľahlivosť
A/B testovanie promptov5-10Dostatočná veľkosť vzorky na porovnanie
Brainstorming5-10Maximálna rozmanitosť nápadov

Kľúčové poznatky

  • Parameter n generuje viacero odpovedí v rámci jedného volania API
  • Tokeny vstupu sa účtujú raz; tokeny výstupu sa násobia hodnotou N
  • Nie všetky modely podporujú n > 1 – over si kompatibilitu
  • Väčšinové hlasovanie zlepšuje spoľahlivosť klasifikácie
  • Metóda Best-of-N vyberá najlepšiu odpoveď na základe merateľného kritéria
  • Pri použití n > 1 nastav vysokú teplotu pre maximalizáciu rozmanitosti odpovedí