Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Parametr n pro více odpovědí

Lekce 15 z 16 Aktualizováno 2. listopadu 2026 Vývojář
Na této stránce
  1. Generování více odpovědí v jediném volání
  2. Výběr nejlepší odpovědi
  3. Porovnání dvou promptů na vzorku
  4. Zlepšení spolehlivosti klasifikace hlasováním
  5. Kdy použít n > 1
  6. Klíčové poznatky

Generování více odpovědí v jediném volání

Parametr n instruuje model, aby v rámci jedné žádosti API vytvořil více alternativních odpovědí na stejný prompt. I když se to může zdát jako drobnost, otevírá tři zásadní scénáře použití: porovnání dvou formulací promptů na vzorku dat, automatický výběr nejlepší odpovědi z dávky a průzkum prostoru řešení místo akceptace prvního výstupu.

Ve výchozím nastavení je n=1 a API vrací v poli choices jedinou odpověď. Pokud nastavíš n=5, pole bude obsahovat pět záznamů, každý s vlastním index. Všimni si teploty nastavené na 1,0 v níže uvedeném příkladu: bez dostatečné náhodnosti by všech pět odpovědí bylo identických a volání by bylo k ničemu.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="ministral-3b-latest",
    messages=[
        {"role": "user", "content": "What is the best programming language for beginners? One word only."}
    ],
    temperature=1.0,  # High temperature to maximize diversity
    n=5
)

for choice in response.choices:
    print(f"Response {choice.index}: {choice.message.content}")

Praktickou hodnotu tohoto parametru určují dva faktory. Prvním je fakturace: tokeny vstupu jsou účtovány pouze jednou, protože prompt je odeslán jen jednou, ale tokeny výstupu jsou účtovány za každou dokončenou odpověď. Při n=5 a max_tokens=100 skočí tvůj limit výstupních tokenů na 500. Právě to činí parametr n atraktivním pro dlouhé prompty – amortizace velkého kontextu přes pět odpovědí stojí výrazně méně než provedení pěti samostatných volání.

print(f"Prompt tokens  : {response.usage.prompt_tokens}")     # Charged 1x
print(f"Response tokens: {response.usage.completion_tokens}")  # Charged nx
print(f"Total          : {response.usage.total_tokens}")

Druhým faktorem je kompatibilita: ne všechny modely Mistral podporují n. K dubnu 2026 nejnovější verze mistral-large nepodporují n > 1. Pro tuto funkci použij ministral-3b-latest nebo jiné kompatibilní modely – proto se všechny příklady v této lekci spoléhají právě na tento model.

Výběr nejlepší odpovědi

První případ použití spočívá ve generování více kandidátů a ponechání toho nejlepšího na základem tebou definovaného kritéria. Mechanismus je záměrně obecný: best_of_n přijímá libovolnou skórovací funkci, což ti umožňuje měřit to, na čem záleží v tvém kontextu – přítomnost povinného klíčového slova, platnost JSON nebo dodržení cílové délky. Funkce length_scorer ilustruje toto poslední kritérium, kde skóre klesá úměrně odchylce od cílové délky.

def best_of_n(client, messages, n=5, scorer=None, **kwargs):
    """Generates N responses and selects the best one."""
    response = client.chat.complete(
        model="ministral-3b-latest",
        messages=messages,
        n=n,
        temperature=0.9,
        **kwargs
    )

    candidates = [
        {
            "index": c.index,
            "content": c.message.content,
            "score": scorer(c.message.content) if scorer else 0
        }
        for c in response.choices
    ]

    if scorer:
        candidates.sort(key=lambda x: x["score"], reverse=True)

    return candidates

# Scorer: appropriate length (not too short, not too long)
def length_scorer(text: str, target=200) -> float:
    """Score based on proximity to a target length."""
    diff = abs(len(text) - target)
    return max(0, 1 - diff / target)

candidates = best_of_n(
    client,
    [{"role": "user", "content": "Write a summary of generative AI in 2026."}],
    n=5,
    scorer=length_scorer,
    max_tokens=300
)

print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")

Porovnání dvou promptů na vzorku

Druhý případ použití je metodologický, nikoliv produktový. Když se rozhoduješ mezi dvěma formulacemi promptu, porovnání jedné odpovědi s druhou nic neprokazuje: rozdíl by mohl vysvětlovat samotná variabilita modelu. Vygenerováním N odpovědí pro každou verzi a změřením průměrné délky a míry odlišných odpovědí získáš předběžné důkazy. Skóre diverzity 1,0 u promptu určeného k produkci stabilního formátu je varovným signálem, nikoliv dobrou zprávou.

def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
    """Compares two prompts by generating N responses for each."""
    results = {}

    for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
        response = client.chat.complete(
            model="ministral-3b-latest",
            messages=[{"role": "user", "content": prompt}],
            n=n,
            temperature=0.8,
            max_tokens=200
        )

        texts = [c.message.content for c in response.choices]
        avg_length = sum(len(t) for t in texts) / len(texts)
        unique_ratio = len(set(texts)) / len(texts)

        results[label] = {
            "avg_length": round(avg_length),
            "diversity": round(unique_ratio, 2),
            "sample": texts[0][:150]
        }

    return results

# Test
results = ab_test_prompts(
    client,
    "Summarize the benefits of Python.",
    "List the 3 main benefits of Python in one sentence each."
)

for label, data in results.items():
    print(f"\nPrompt {label}:")
    print(f"  Average length : {data['avg_length']} chars")
    print(f"  Diversity      : {data['diversity']}")
    print(f"  Sample         : {data['sample']}...")

Zlepšení spolehlivosti klasifikace hlasováním

Třetí případ použití nabízí v produkci nejvyšší návratnost investic (ROI). U úlohy klasifikace ti jedna odpověď nic neřekne o jistotě modelu: odpověď může být zřejmá, nebo může jít o hraniční odhad mezi dvěma kategoriemi. Vygeneruj sedm odpovědí, spočítej hlasy a získáš jak štítek, tak použitelnou míru jistoty – klasifikaci 4/7 můžeš směrovat k lidské validaci, zatímco 7/7 projde přímo. Použití lichého čísla zabraňuje remízám.

from collections import Counter

def majority_vote(client, messages, n=7, **kwargs):
    """Majority vote classification over N completions."""
    response = client.chat.complete(
        model="ministral-3b-latest",
        messages=messages,
        n=n,
        temperature=0.7,
        max_tokens=20,
        **kwargs
    )

    votes = [c.message.content.strip().upper() for c in response.choices]
    counts = Counter(votes)
    winner, count = counts.most_common(1)[0]
    confidence = count / n

    return {
        "result": winner,
        "confidence": round(confidence, 2),
        "votes": dict(counts),
        "n": n
    }

# Sentiment classification
result = majority_vote(
    client,
    messages=[
        {"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
        {"role": "user", "content": "The product is okay but the delivery was very slow."}
    ],
    n=7
)

print(f"Result    : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes     : {result['votes']}")

Kdy použít n > 1

Tento parametr není všude opodstatněný: u standardního provozu je každá další dokončená odpověď nákladem na výstup bez návratnosti. Níže uvedená tabulka shrnuje obhajitelné hodnoty v závislosti na scénáři.

ScénářDoporučené nProč
Standardní produkce1Minimální náklady
Výběr kvality3–5Nejlepší z N pro kritický text
Robustní klasifikace5–9 (liché)Většinové hlasování pro spolehlivost
A/B testování promptů5–10Dostatečná velikost vzorku pro porovnání
Brainstorming5–10Maximální diverzita nápadů

Klíčové poznatky

  • Parametr n generuje více odpovědí v jediném volání API
  • Tokeny vstupu jsou účtovány jednou; tokeny výstupu se násobí hodnotou N
  • Ne všechny modely podporují n > 1 – ověř si kompatibilitu
  • Většinové hlasování zlepšuje spolehlivost klasifikace
  • Metoda „nejlepší z N“ vybírá nejlepší odpověď na základě měřitelného kritéria
  • Při použití n > 1 nastav vysokou teplotu pro maximalizaci diverzity odpovědí