Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Parametar n za višestruke odgovore

Lekcija 15 od 16 Ažurirano 2. studenoga 2026. Programer
Na ovoj stranici
  1. Generiranje više odgovora u jednom pozivu
  2. Odabir najboljeg odgovora
  3. Usporedba dva upita na uzorku
  4. Poboljšanje pouzdanosti klasifikacije glasovanjem
  5. Kada koristiti n > 1
  6. Ključne točke

Generiranje više odgovora u jednom pozivu

Parametar n nalaže modelu da proizvede više alternativnih odgovora na isti upit unutar jednog API zahtjeva. Iako se ovo može činiti kao sitnica, omogućuje tri ozbiljna slučaja upotrebe: usporedbu dviju formulacija upita na uzorku, automatski odabir najboljeg odgovora iz serije i istraživanje prostora rješenja umjesto prihvaćanja prvog izlaza.

Zadana vrijednost je n=1, a API vraća jedan odgovor u polju choices. Ako postaviš n=5, niz sadrži pet unosa, od kojih svaki ima svoj index. Obrati pažnju na temperaturu postavljenu na 1.0 u primjeru ispod: bez dovoljne randomizacije, svih pet odgovora bilo bi identično, čineći poziv beskorisnim.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="ministral-3b-latest",
    messages=[
        {"role": "user", "content": "What is the best programming language for beginners? One word only."}
    ],
    temperature=1.0,  # High temperature to maximize diversity
    n=5
)

for choice in response.choices:
    print(f"Response {choice.index}: {choice.message.content}")

Dva faktora određuju praktičnu vrijednost ovog parametra. Prvi je naplata: ulazni (input) tokeni naplaćuju se samo jednom jer se upit šalje jedanput, ali se izlazni (output) tokeni naplaćuju za svaku kompletaciju. S n=5 i max_tokens=100, tvoja gornja granica izlaza skače na 500 tokena. Upravo to čini parametar n privlačnim za duge upite – amortizacija velikog konteksta kroz pet odgovora košta znatno manje nego pet zasebnih poziva.

print(f"Prompt tokens  : {response.usage.prompt_tokens}")     # Charged 1x
print(f"Response tokens: {response.usage.completion_tokens}")  # Charged nx
print(f"Total          : {response.usage.total_tokens}")

Drugi faktor je kompatibilnost: ne podržavaju svi Mistral modeli parametar n. Od travnja 2026., nove verzije modela mistral-large ne podržavaju n > 1. Koristi ministral-3b-latest ili druge kompatibilne modele za ovu značajku – zato se svi primjeri u ovoj lekciji oslanjaju na taj model.

Odabir najboljeg odgovora

Prvi slučaj upotrebe uključuje generiranje više kandidata i zadržavanje najboljeg na temelju kriterija koji definiraš. Mehanizam je namjerno generičan: best_of_n prihvaća bilo koju funkciju bodovanja, omogućujući ti da mjeriš ono što je bitno u tvom kontekstu – prisutnost obavezne ključne riječi, valjanost JSON-a ili pridržavanje ciljne duljine. Funkcija length_scorer ilustrira ovaj posljednji kriterij, gdje se bod smanjuje razmjerno odstupanju od ciljne duljine.

def best_of_n(client, messages, n=5, scorer=None, **kwargs):
    """Generates N responses and selects the best one."""
    response = client.chat.complete(
        model="ministral-3b-latest",
        messages=messages,
        n=n,
        temperature=0.9,
        **kwargs
    )

    candidates = [
        {
            "index": c.index,
            "content": c.message.content,
            "score": scorer(c.message.content) if scorer else 0
        }
        for c in response.choices
    ]

    if scorer:
        candidates.sort(key=lambda x: x["score"], reverse=True)

    return candidates

# Scorer: appropriate length (not too short, not too long)
def length_scorer(text: str, target=200) -> float:
    """Score based on proximity to a target length."""
    diff = abs(len(text) - target)
    return max(0, 1 - diff / target)

candidates = best_of_n(
    client,
    [{"role": "user", "content": "Write a summary of generative AI in 2026."}],
    n=5,
    scorer=length_scorer,
    max_tokens=300
)

print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")

Usporedba dva upita na uzorku

Drugi slučaj upotrebe je metodološki, a ne usmjeren na proizvod. Kada biraš između dviju formulacija upita, usporedba jednog odgovora s drugim ništa ne dokazuje: sama varijanca modela mogla bi objasniti razliku. Generiranjem N odgovora za svaku verziju i mjerenjem prosječne duljine te stope različitih odgovora, dobivaš preliminarne dokaze. Rezultat raznolikosti od 1.0 na upitu namijenjenom proizvodnji stabilnog formata crvena je zastavica, a ne dobra vijest.

def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
    """Compares two prompts by generating N responses for each."""
    results = {}

    for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
        response = client.chat.complete(
            model="ministral-3b-latest",
            messages=[{"role": "user", "content": prompt}],
            n=n,
            temperature=0.8,
            max_tokens=200
        )

        texts = [c.message.content for c in response.choices]
        avg_length = sum(len(t) for t in texts) / len(texts)
        unique_ratio = len(set(texts)) / len(texts)

        results[label] = {
            "avg_length": round(avg_length),
            "diversity": round(unique_ratio, 2),
            "sample": texts[0][:150]
        }

    return results

# Test
results = ab_test_prompts(
    client,
    "Summarize the benefits of Python.",
    "List the 3 main benefits of Python in one sentence each."
)

for label, data in results.items():
    print(f"\nPrompt {label}:")
    print(f"  Average length : {data['avg_length']} chars")
    print(f"  Diversity      : {data['diversity']}")
    print(f"  Sample         : {data['sample']}...")

Poboljšanje pouzdanosti klasifikacije glasovanjem

Treći slučaj upotrebe nudi najveći povrat ulaganja (ROI) u proizvodnji. Za zadatak klasifikacije, jedan odgovor ti ne govori ništa o sigurnosti modela: odgovor može biti očigledan, ili može biti granično nagađanje između dviju kategorija. Generiraj sedam odgovora, prebroj glasove i dobit ćeš i oznaku i djelotvornu stopu pouzdanosti – klasifikacija 4/7 može se proslijediti na ljudsku validaciju, dok 7/7 prolazi izravno. Korištenje neparnog broja izbjegava neriješene rezultate.

from collections import Counter

def majority_vote(client, messages, n=7, **kwargs):
    """Majority vote classification over N completions."""
    response = client.chat.complete(
        model="ministral-3b-latest",
        messages=messages,
        n=n,
        temperature=0.7,
        max_tokens=20,
        **kwargs
    )

    votes = [c.message.content.strip().upper() for c in response.choices]
    counts = Counter(votes)
    winner, count = counts.most_common(1)[0]
    confidence = count / n

    return {
        "result": winner,
        "confidence": round(confidence, 2),
        "votes": dict(counts),
        "n": n
    }

# Sentiment classification
result = majority_vote(
    client,
    messages=[
        {"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
        {"role": "user", "content": "The product is okay but the delivery was very slow."}
    ],
    n=7
)

print(f"Result    : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes     : {result['votes']}")

Kada koristiti n > 1

Ovaj parametar nije opravdan svugdje: na standardnom prometu, svaka dodatna kompletacija je trošak izlaza bez povrata. Tablica u nastavku sažima obranjive vrijednosti temeljem scenarija.

ScenarijPreporučeni nZašto
Standardna proizvodnja1Minimalni trošak
Odabir kvalitete3-5Najbolji od N za kritični tekst
Robusna klasifikacija5-9 (neparno)Većinsko glasovanje za pouzdanost
A/B testiranje upita5-10Dovoljna veličina uzorka za usporedbu
Oluja ideja (Brainstorming)5-10Maksimalna raznolikost ideja

Ključne točke

  • Parametar n generira više odgovora u jednom API pozivu
  • Ulazni tokeni naplaćuju se jednom; izlazni tokeni se množe s N
  • Ne podržavaju svi modeli n > 1 – provjeri kompatibilnost
  • Većinsko glasovanje poboljšava pouzdanost klasifikacije
  • „Najbolji od N“ odabire najbolji odgovor na temelju mjerljivog kriterija
  • Koristi visoku temperaturu s n > 1 za maksimiziranje raznolikosti odgovora