Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Parameter n za več odgovorov

Lekcija 15 od 16 Posodobljeno 2. november 2026 Razvijalec
Na tej strani
  1. Ustvari več odgovorov v enem klicu
  2. Izberi najboljši odgovor
  3. Primerjava dveh pozivov na vzorcu
  4. Izboljšaj zanesljivost klasifikacije z glasovanjem
  5. Kdaj uporabiti n > 1
  6. Ključne ugotovitve

Ustvari več odgovorov v enem klicu

Parameter n modelu naroči, naj v okviru ene same zahteve API ustvari več alternativnih odgovorov na isti poziv. Čeprav se to morda zdi kot manjša funkcija, omogoča tri resne primere uporabe: primerjavo dveh formulacij poziva na vzorčni množici, samodejni izbor najboljšega odgovora iz serije in raziskovanje prostora rešitev namesto sprejemanja prvega izpisa.

Privzeto je n=1 in API vrne en sam odgovor v polju choices. Če nastaviš n=5, bo seznam vseboval pet vnosov, od katerih ima vsak svoj index. Upoštevaj temperaturo, nastavljeno na 1.0 v spodnjem primeru: brez zadostne naključnosti bi bilo vseh pet odgovorov identičnih, kar bi klic naredilo neuporabnega.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="ministral-3b-latest",
    messages=[
        {"role": "user", "content": "What is the best programming language for beginners? One word only."}
    ],
    temperature=1.0,  # High temperature to maximize diversity
    n=5
)

for choice in response.choices:
    print(f"Response {choice.index}: {choice.message.content}")

Praktično vrednost tega parametra določata dva dejavnika. Prvi je obračunavanje: žetoni za vhod se zaračunajo le enkrat, saj je poziv poslan samo enkrat, žetoni za izhod pa se zaračunajo za vsako dokončanje posebej. Pri n=5 in max_tokens=100 se tvoja zgornja meja za izhod dvigne na 500 žetonov. Prav to naredi parameter n privlačnega za dolge pozive – porazdelitev velikega konteksta čez pet odgovorov stane bistveno manj kot izvedba petih ločenih klicev.

print(f"Prompt tokens  : {response.usage.prompt_tokens}")     # Charged 1x
print(f"Response tokens: {response.usage.completion_tokens}")  # Charged nx
print(f"Total          : {response.usage.total_tokens}")

Drugi dejavnik je združljivost: vsi modeli Mistral ne podpirajo parametra n. Od aprila 2026 novejše različice modela mistral-large ne podpirajo vrednosti n > 1. Za to funkcijo uporabi ministral-3b-latest ali druge združljive modele – zato se vsi primeri v tej lekciji zanašajo prav na ta model.

Izberi najboljši odgovor

Prvi primer uporabe vključuje ustvarjanje več kandidatov in obdržanje najboljšega na podlagi merila, ki ga določiš sam. Mehanizem je namerno splošen: best_of_n sprejme katero koli funkcijo za ocenjevanje, kar ti omogoča merjenje tistega, kar je v tvojem kontekstu pomembno – prisotnost obvezne ključne besede, veljavnost JSON ali skladnost s ciljno dolžino. Funkcija length_scorer ponazarja zadnje merilo, kjer se ocena sorazmerno zmanjšuje glede na odstopanje od ciljne dolžine.

def best_of_n(client, messages, n=5, scorer=None, **kwargs):
    """Generates N responses and selects the best one."""
    response = client.chat.complete(
        model="ministral-3b-latest",
        messages=messages,
        n=n,
        temperature=0.9,
        **kwargs
    )

    candidates = [
        {
            "index": c.index,
            "content": c.message.content,
            "score": scorer(c.message.content) if scorer else 0
        }
        for c in response.choices
    ]

    if scorer:
        candidates.sort(key=lambda x: x["score"], reverse=True)

    return candidates

# Scorer: appropriate length (not too short, not too long)
def length_scorer(text: str, target=200) -> float:
    """Score based on proximity to a target length."""
    diff = abs(len(text) - target)
    return max(0, 1 - diff / target)

candidates = best_of_n(
    client,
    [{"role": "user", "content": "Write a summary of generative AI in 2026."}],
    n=5,
    scorer=length_scorer,
    max_tokens=300
)

print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")

Primerjava dveh pozivov na vzorcu

Drugi primer uporabe je metodološki in ne osredotočen na izdelek. Ko se odločaš med dvema formulacijama poziva, primerjava enega samega odgovora z drugim ne dokazuje ničesar: razliko bi lahko pojasnila zgolj variabilnost modela. Z ustvarjanjem N odgovorov za vsako različico in merjenjem povprečne dolžine ter deleža različnih odgovorov dobiš predhodne dokaze. Ocena raznolikosti 1,0 pri pozivu, ki naj bi proizvedel stabilno obliko, je rdeča zastavica, ne dobra novica.

def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
    """Compares two prompts by generating N responses for each."""
    results = {}

    for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
        response = client.chat.complete(
            model="ministral-3b-latest",
            messages=[{"role": "user", "content": prompt}],
            n=n,
            temperature=0.8,
            max_tokens=200
        )

        texts = [c.message.content for c in response.choices]
        avg_length = sum(len(t) for t in texts) / len(texts)
        unique_ratio = len(set(texts)) / len(texts)

        results[label] = {
            "avg_length": round(avg_length),
            "diversity": round(unique_ratio, 2),
            "sample": texts[0][:150]
        }

    return results

# Test
results = ab_test_prompts(
    client,
    "Summarize the benefits of Python.",
    "List the 3 main benefits of Python in one sentence each."
)

for label, data in results.items():
    print(f"\nPrompt {label}:")
    print(f"  Average length : {data['avg_length']} chars")
    print(f"  Diversity      : {data['diversity']}")
    print(f"  Sample         : {data['sample']}...")

Izboljšaj zanesljivost klasifikacije z glasovanjem

Tretji primer uporabe ponuja najvišji donos naložbe (ROI) v produkcijskem okolju. Pri nalogi klasifikacije ti en sam odgovor ne pove ničesar o zaupanju modela: odgovor je lahko očiten ali pa gre za mejno ugibanje med dvema kategorijama. Ustvari sedem odgovorov, preštej glasove in dobiš tako oznako kot uporabno stopnjo zaupanja – klasifikacijo 4/7 lahko preusmeriš v človeško validacijo, medtem ko 7/7 gre neposredno skozi. Uporaba lihega števila se izogne remijem.

from collections import Counter

def majority_vote(client, messages, n=7, **kwargs):
    """Majority vote classification over N completions."""
    response = client.chat.complete(
        model="ministral-3b-latest",
        messages=messages,
        n=n,
        temperature=0.7,
        max_tokens=20,
        **kwargs
    )

    votes = [c.message.content.strip().upper() for c in response.choices]
    counts = Counter(votes)
    winner, count = counts.most_common(1)[0]
    confidence = count / n

    return {
        "result": winner,
        "confidence": round(confidence, 2),
        "votes": dict(counts),
        "n": n
    }

# Sentiment classification
result = majority_vote(
    client,
    messages=[
        {"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
        {"role": "user", "content": "The product is okay but the delivery was very slow."}
    ],
    n=7
)

print(f"Result    : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes     : {result['votes']}")

Kdaj uporabiti n > 1

Ta parameter ni upravičen povsod: pri standardnem prometu je vsako dodatno dokončanje strošek izhoda brez donosa. Spodnja tabela povzema obranljive vrednosti glede na scenarij.

ScenarijPriporočeni nZakaj
Standardna produkcija1Minimalni stroški
Izbira kakovosti3–5Najboljši izmed N za kritično besedilo
Robustna klasifikacija5–9 (liho)Večinsko glasovanje za zanesljivost
A/B testiranje pozivov5–10Zadostna velikost vzorca za primerjavo
Brainstorming5–10Maksimalna raznolikost idej

Ključne ugotovitve

  • Parameter n ustvari več odgovorov v enem samem klicu API
  • Vhodni žetoni se zaračunajo enkrat; izhodni žetoni se pomnožijo z N
  • Vsi modeli ne podpirajo n > 1 – preveri združljivost
  • Večinsko glasovanje izboljša zanesljivost klasifikacije
  • „Najboljši izmed N” izbere najboljši odgovor na podlagi merljivega merila
  • Pri n > 1 uporabi visoko temperaturo za maksimiranje raznolikosti odgovorov