Spring til hovedindhold
Dansk— Vælg et sprog
Menu

N completions

Lektion 15 af 16 Opdateret 2. november 2026 Udvikler
På denne side
  1. Generer flere svar i ét kald
  2. Vælg det bedste svar
  3. Sammenlign to prompts på en prøve
  4. Forbedr klassificeringspålidelighed via afstemning
  5. Hvornår skal du bruge n > 1
  6. Vigtige pointer

Generer flere svar i ét kald

Parameteren n instruerer modellen i at producere flere alternative svar på den samme prompt inden for en enkelt API-anmodning. Selvom dette måske virker som en mindre funktion, muliggør den tre seriøse anvendelsestilfælde: sammenligning af to prompt-formuleringer på et prøvesæt, automatisk valg af det bedste svar fra en batch og udforskning af løsningsrummet i stedet for blot at acceptere det første output.

Som standard er n=1, og API’en returnerer et enkelt svar i choices. Hvis du sætter n=5, indeholder arrayet fem poster, hver med sit eget index. Bemærk temperaturen sat til 1,0 i eksemplet nedenfor: uden tilstrækkelig randomisering ville alle fem svar være identiske, hvilket ville gøre kaldet ubrugeligt.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="ministral-3b-latest",
    messages=[
        {"role": "user", "content": "What is the best programming language for beginners? One word only."}
    ],
    temperature=1.0,  # Høj temperatur for at maksimere diversitet
    n=5
)

for choice in response.choices:
    print(f"Response {choice.index}: {choice.message.content}")

To faktorer bestemmer parameterens praktiske værdi. Den første er fakturering: input-tokens opkræves kun én gang, da prompten sendes én enkelt gang, men output-tokens opkræves for hver completion. Med n=5 og max_tokens=100 springer dit output-loft op til 500 tokens. Det er præcis dette, der gør n attraktivt til lange prompts – at fordele en stor kontekst over fem svar koster betydeligt mindre end at foretage fem separate kald.

print(f"Prompt tokens  : {response.usage.prompt_tokens}")     # Opkræves 1x
print(f"Response tokens: {response.usage.completion_tokens}")  # Opkræves nx
print(f"Total          : {response.usage.total_tokens}")

Den anden faktor er kompatibilitet: ikke alle Mistral-modeller understøtter n. Fra april 2026 understøtter nyere versioner af mistral-large ikke n > 1. Brug ministral-3b-latest eller andre kompatible modeller til denne funktion – hvilket er grunden til, at alle eksempler i denne lektion bruger netop den model.

Vælg det bedste svar

Det første anvendelsestilfælde indebærer at generere flere kandidater og beholde den bedste baseret på et kriterium, du definerer. Mekanismen er bevidst generisk: best_of_n accepterer enhver scoring-funktion, så du kan måle det, der betyder noget i din kontekst – tilstedeværelsen af et obligatorisk nøgleord, JSON-gyldighed eller overholdelse af en mållængde. Funktionen length_scorer illustrerer dette sidste kriterium, hvor scoren falder proportionalt med afvigelsen fra mållængden.

def best_of_n(client, messages, n=5, scorer=None, **kwargs):
    """Genererer N svar og vælger det bedste."""
    response = client.chat.complete(
        model="ministral-3b-latest",
        messages=messages,
        n=n,
        temperature=0.9,
        **kwargs
    )

    candidates = [
        {
            "index": c.index,
            "content": c.message.content,
            "score": scorer(c.message.content) if scorer else 0
        }
        for c in response.choices
    ]

    if scorer:
        candidates.sort(key=lambda x: x["score"], reverse=True)

    return candidates

# Scorer: passende længde (hverken for kort eller for lang)
def length_scorer(text: str, target=200) -> float:
    """Score baseret på nærhed til en mållængde."""
    diff = abs(len(text) - target)
    return max(0, 1 - diff / target)

candidates = best_of_n(
    client,
    [{"role": "user", "content": "Write a summary of generative AI in 2026."}],
    n=5,
    scorer=length_scorer,
    max_tokens=300
)

print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")

Sammenlign to prompts på en prøve

Det andet anvendelsestilfælde er metodisk snarere end produktfokuseret. Når du skal vælge mellem to prompt-formuleringer, beviser sammenligningen af ét enkelt svar med et andet ingenting: modelvarians alene kunne forklare forskellen. Ved at generere N svar for hver version og måle gennemsnitslængden samt andelen af unikke svar, får du foreløbige beviser. En diversitetsscore på 1,0 på en prompt, der er beregnet til at producere et stabilt format, er et advarselstegn, ikke gode nyheder.

def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
    """Sammenligner to prompts ved at generere N svar for hver."""
    results = {}

    for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
        response = client.chat.complete(
            model="ministral-3b-latest",
            messages=[{"role": "user", "content": prompt}],
            n=n,
            temperature=0.8,
            max_tokens=200
        )

        texts = [c.message.content for c in response.choices]
        avg_length = sum(len(t) for t in texts) / len(texts)
        unique_ratio = len(set(texts)) / len(texts)

        results[label] = {
            "avg_length": round(avg_length),
            "diversity": round(unique_ratio, 2),
            "sample": texts[0][:150]
        }

    return results

# Test
results = ab_test_prompts(
    client,
    "Summarize the benefits of Python.",
    "List the 3 main benefits of Python in one sentence each."
)

for label, data in results.items():
    print(f"\nPrompt {label}:")
    print(f"  Average length : {data['avg_length']} chars")
    print(f"  Diversity      : {data['diversity']}")
    print(f"  Sample         : {data['sample']}...")

Forbedr klassificeringspålidelighed via afstemning

Det tredje anvendelsestilfælde tilbyder den højeste ROI i produktion. Til en klassificeringsopgave fortæller et enkelt svar dig intet om modellens tillid: svaret kan være indlysende, eller det kan være et gæt på kanten mellem to kategorier. Generer syv svar, tæl stemmerne, og du får både en label og en handlingsorienteret tillidsgrad – en 4/7-klassificering kan routings til menneskelig validering, mens en 7/7 passerer direkte igennem. Brug af et ulige tal undrer uafgjorte resultater.

from collections import Counter

def majority_vote(client, messages, n=7, **kwargs):
    """Majoritetsafstemning-klassificering over N completions."""
    response = client.chat.complete(
        model="ministral-3b-latest",
        messages=messages,
        n=n,
        temperature=0.7,
        max_tokens=20,
        **kwargs
    )

    votes = [c.message.content.strip().upper() for c in response.choices]
    counts = Counter(votes)
    winner, count = counts.most_common(1)[0]
    confidence = count / n

    return {
        "result": winner,
        "confidence": round(confidence, 2),
        "votes": dict(counts),
        "n": n
    }

# Sentiment-klassificering
result = majority_vote(
    client,
    messages=[
        {"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
        {"role": "user", "content": "The product is okay but the delivery was very slow."}
    ],
    n=7
)

print(f"Result    : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes     : {result['votes']}")

Hvornår skal du bruge n > 1

Denne parameter er ikke berettiget overalt: ved standardtrafik er hver ekstra completion en output-omkostning uden afkast. Tabellen nedenfor opsummerer forsvarlige værdier baseret på scenariet.

ScenarieAnbefalet nHvorfor
Standard produktion1Minimale omkostninger
Kvalitetsudvælgelse3-5Best-of-N til kritisk tekst
Robust klassificering5-9 (ulige)Majoritetsafstemning for pålidelighed
Prompt A/B-test5-10Tilstrækkelig prøvestørrelse til sammenligning
Brainstorming5-10Maksimal idédiversitet

Vigtige pointer

  • Parameteren n genererer flere svar i ét enkelt API-kald
  • Input-tokens opkræves én gang; output-tokens ganges med N
  • Ikke alle modeller understøtter n > 1 – verificer kompatibilitet
  • Majoritetsafstemning forbedrer pålideligheden af klassificering
  • Best-of-N vælger det bedste svar baseret på et målbart kriterium
  • Brug høj temperatur med n > 1 for at maksimere svardiversitet