Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

N completions

Nodarbība 15 no 16 Atjaunota 2026. gada 2. novembris Programmētājs
Šajā lapā
  1. Ģenerē vairākas atbildes vienā izsaukumā
  2. Atlasī labāko atbildi
  3. Salīdzini divus pieprasījumus paraugā
  4. Uzlabo klasifikācijas uzticamību, balsojot
  5. Kad lietot n > 1
  6. Galvenās atziņas

Ģenerē vairākas atbildes vienā izsaukumā

Parametrs n norāda modelim ģenerēt vairākas alternatīvas atbildes uz vienu un to pašu pieprasījumu viena API pieprasījuma ietvaros. Lai gan tas var šķist neliela funkcija, tas ļauj īstenot trīs nopietnus lietojumgadījumus: divu pieprasījumu formulējumu salīdzināšanu paraugu kopā, automātisku labākās atbildes atlasi no partijas un risinājumu telpas izpēti, neapstājoties pie pirmā rezultāta.

Pēc noklusējuma n=1, un API atgriež vienu atbildi masīvā choices. Ja iestati n=5, masīvs satur piecus ierakstus, katram ar savu index. Ņem vērā, ka zemāk redzamajā piemērā temperatūra ir iestatīta uz 1.0: bez pietiekamas nejaušināšanas visas piecas atbildes būtu identiskas, padarot izsaukumu bezjēdzīgu.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="ministral-3b-latest",
    messages=[
        {"role": "user", "content": "What is the best programming language for beginners? One word only."}
    ],
    temperature=1.0,  # High temperature to maximize diversity
    n=5
)

for choice in response.choices:
    print(f"Response {choice.index}: {choice.message.content}")

Divi faktori nosaka šī parametra praktisko vērtību. Pirmais ir rēķinu veidošana: par ievades tokeniem tiek maksāts tikai vienreiz, jo pieprasījums tiek nosūtīts vienu reizi, bet par izvades tokeniem tiek maksāts par katru pabeigto atbildi. Ar n=5 un max_tokens=100 tavs izvades limits pieaug līdz 500 tokeniem. Tieši tas padara n pievilcīgu gariem pieprasījumiem – liela konteksta izmaksas, sadalītas starp piecām atbildēm, ir ievērojami zemākas nekā piecu atsevišķu izsaukumu veikšana.

print(f"Prompt tokens  : {response.usage.prompt_tokens}")     # Charged 1x
print(f"Response tokens: {response.usage.completion_tokens}")  # Charged nx
print(f"Total          : {response.usage.total_tokens}")

Otrais faktors ir saderība: ne visi Mistral modeļi atbalsta n. Sākot ar 2026. gada aprīli, jaunākās mistral-large versijas neatbalsta n > 1. Izmanto ministral-3b-latest vai citus saderīgus modeļus šai funkcijai – tieši tāpēc visi šīs nodarbības piemēri balstās uz šo modeli.

Atlasī labāko atbildi

Pirmais lietojumgadījums ietver vairāku kandidātu ģenerēšanu un labākā saglabāšanu, pamatojoties uz tavu definētu kritēriju. Mehānisms ir apzināti vispārīgs: best_of_n pieņem jebkuru vērtēšanas funkciju, ļaujot tev mērīt to, kas tavā kontekstā ir svarīgi – obligāta atslēgvārda esamību, JSON derīgumu vai atbilstību mērķa garumam. Funkcija length_scorer ilustrē pēdējo kritēriju, kur vērtējums samazinās proporcionāli novirzei no mērķa garuma.

def best_of_n(client, messages, n=5, scorer=None, **kwargs):
    """Generates N responses and selects the best one."""
    response = client.chat.complete(
        model="ministral-3b-latest",
        messages=messages,
        n=n,
        temperature=0.9,
        **kwargs
    )

    candidates = [
        {
            "index": c.index,
            "content": c.message.content,
            "score": scorer(c.message.content) if scorer else 0
        }
        for c in response.choices
    ]

    if scorer:
        candidates.sort(key=lambda x: x["score"], reverse=True)

    return candidates

# Scorer: appropriate length (not too short, not too long)
def length_scorer(text: str, target=200) -> float:
    """Score based on proximity to a target length."""
    diff = abs(len(text) - target)
    return max(0, 1 - diff / target)

candidates = best_of_n(
    client,
    [{"role": "user", "content": "Write a summary of generative AI in 2026."}],
    n=5,
    scorer=length_scorer,
    max_tokens=300
)

print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")

Salīdzini divus pieprasījumus paraugā

Otrais lietojumgadījums ir metodoloģisks, nevis produkta orientēts. Izvēloties starp diviem pieprasījumu formulējumiem, vienas atbildes salīdzināšana ar citu neko nepierāda: atšķirību varētu izskaidrot vienkārši modeļa variācija. Ģenerējot N atbildes katrai versijai un mērot vidējo garumu un atšķirīgu atbilžu īpatsvaru, tu iegūsti sākotnējus pierādījumus. Dažādības rādītājs 1.0 pieprasījumam, kam paredzēts radīt stabilu formātu, ir brīdinājuma zīme, nevis laba ziņa.

def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
    """Compares two prompts by generating N responses for each."""
    results = {}

    for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
        response = client.chat.complete(
            model="ministral-3b-latest",
            messages=[{"role": "user", "content": prompt}],
            n=n,
            temperature=0.8,
            max_tokens=200
        )

        texts = [c.message.content for c in response.choices]
        avg_length = sum(len(t) for t in texts) / len(texts)
        unique_ratio = len(set(texts)) / len(texts)

        results[label] = {
            "avg_length": round(avg_length),
            "diversity": round(unique_ratio, 2),
            "sample": texts[0][:150]
        }

    return results

# Test
results = ab_test_prompts(
    client,
    "Summarize the benefits of Python.",
    "List the 3 main benefits of Python in one sentence each."
)

for label, data in results.items():
    print(f"\nPrompt {label}:")
    print(f"  Average length : {data['avg_length']} chars")
    print(f"  Diversity      : {data['diversity']}")
    print(f"  Sample         : {data['sample']}...")

Uzlabo klasifikācijas uzticamību, balsojot

Trešais lietojumgadījums piedāvā visaugstāko atdevi (ROI) ražošanas vidē. Klasifikācijas uzdevumam viena atbilde neko nepasaka par modeļa pārliecību: atbilde var būt acīmredzama, vai arī tā var būt robežgadījuma minējums starp divām kategorijām. Ģenerē septiņas atbildes, saskaiti balsis, un tu iegūsti gan etiķeti, gan izmantojamu pārliecības rādītāju – klasifikāciju 4/7 var novirzīt cilvēka validācijai, savukārt 7/7 iziet cauri tieši. Nepāra skaitļa izmantošana izvairās no neizšķirtiem.

from collections import Counter

def majority_vote(client, messages, n=7, **kwargs):
    """Majority vote classification over N completions."""
    response = client.chat.complete(
        model="ministral-3b-latest",
        messages=messages,
        n=n,
        temperature=0.7,
        max_tokens=20,
        **kwargs
    )

    votes = [c.message.content.strip().upper() for c in response.choices]
    counts = Counter(votes)
    winner, count = counts.most_common(1)[0]
    confidence = count / n

    return {
        "result": winner,
        "confidence": round(confidence, 2),
        "votes": dict(counts),
        "n": n
    }

# Sentiment classification
result = majority_vote(
    client,
    messages=[
        {"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
        {"role": "user", "content": "The product is okay but the delivery was very slow."}
    ],
    n=7
)

print(f"Result    : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes     : {result['votes']}")

Kad lietot n > 1

Šis parametrs nav attaisnojams visur: standarta satiksmē katra papildu pabeigta atbilde ir izvades izmaksas bez atdeves. Zemāk esošajā tabulā apkopotas pamatotas vērtības atkarībā no scenārija.

ScenārijsIeteicamais nKāpēc
Standarta ražošana1Minimālas izmaksas
Kvalitātes atlase3-5Labākais no N kritiskam tekstam
Robusta klasifikācija5-9 (nepāra)Balsu vairākums uzticamībai
Pieprasījumu A/B testēšana5-10Pietiekams parauga lielums salīdzinājumam
Ideju ģenerēšana5-10Maksimāla ideju dažādība

Galvenās atziņas

  • Parametrs n ģenerē vairākas atbildes vienā API izsaukumā
  • Par ievades tokeniem maksā vienreiz; izvades tokeni tiek reizināti ar N
  • Ne visi modeļi atbalsta n > 1 – pārbaudi saderību
  • Balsu vairākums uzlabo klasifikācijas uzticamību
  • „Labākais no N” atlasa labāko atbildi, balstoties uz izmērāmu kritēriju
  • Izmanto augstu temperatūru kopā ar n > 1, lai maksimāli palielinātu atbilžu dažādību