Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Il-kompletamenti n

Lezzjoni 15 / 16 Aġġornat 2 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Iġġenera tweġibiet multipli f’sejħa waħda
  2. Agħżel l-aħjar tweġiba
  3. Qabbel żewġ prompts fuq kampjun
  4. Tejjeb l-affidabbiltà tal-klassifikazzjoni permezz tal-votazzjoni
  5. Meta tuża n > 1
  6. Punti Ewlenin

Iġġenera tweġibiet multipli f’sejħa waħda

Il-parametru n jistruzzjona lill-mudell biex jipproduċi tweġibiet alternattivi multipli għall-istess prompt f’sejħa API waħda. Filwaqt li dan jista’ jidher bħala karatteristika minuri, jippermetti tliet każijiet ta’ użu serji: tqabbil ta’ żewġ formulazzjonijiet ta’ prompt fuq sett ta’ kampjuni, għażla awtomatika tal-aħjar tweġiba minn grupp, u esplorazzjoni tal-ispazju tas-soluzzjonijiet minflok ma taċċetta l-ewwel output.

B’mod predefinit, n=1, u l-API tirritorna tweġiba waħda f’choices. Jekk tissettja n=5, l-array ikun fih ħames entrati, kull waħda bl-index tagħha. Innota t-temperatura stabbilita għal 1.0 fl-eżempju hawn taħt: mingħajr biżżejjed aleatorjetà, il-ħames tweġibiet kollha kienu jkunu identiċi, u jagħmlu s-sejħa inutili.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="ministral-3b-latest",
    messages=[
        {"role": "user", "content": "What is the best programming language for beginners? One word only."}
    ],
    temperature=1.0,  # Temperatura għolja biex timmassimizza d-diversità
    n=5
)

for choice in response.choices:
    print(f"Response {choice.index}: {choice.message.content}")

Żewġ fatturi jiddeterminaw il-valur prattiku ta’ dan il-parametru. L-ewwel huwa l-fatturazzjoni: it-tokens tal-input jiġu ċċarġjati darba biss peress li l-prompt jintbagħat darba biss, iżda t-tokens tal-output jiġu ċċarġjati għal kull kompletament. B’n=5 u max_tokens=100, il-limitu tal-output tiegħek jaqbeż għal 500 token. Dan huwa preċiżament dak li jagħmel l-n attraenti għal prompts twal—l-amortizzament ta’ kuntest kbir fuq ħames tweġibiet jispiċċa jiswa ferm inqas milli tagħmel ħames sejħiet separati.

print(f"Prompt tokens  : {response.usage.prompt_tokens}")     # Iċċarġjat 1x
print(f"Response tokens: {response.usage.completion_tokens}")  # Iċċarġjat nx
print(f"Total          : {response.usage.total_tokens}")

It-tieni fattur huwa l-kompatibbiltà: mhux il-mudelli kollha ta’ Mistral jappoġġjaw l-n. Sa April 2026, verżjonijiet riċenti ta’ mistral-large ma jappoġġjawx n > 1. Uża ministral-3b-latest jew mudelli kompatibbli oħra għal din il-karatteristika—għalhekk l-eżempji kollha f’din il-lezzjoni jiddependu fuq dak il-mudell.

Agħżel l-aħjar tweġiba

L-ewwel każ ta’ użu jinvolvi l-ġenerazzjoni ta’ kandidati multipli u ż-żamma tal-aħjar wieħed ibbażat fuq kriterju li tiddefinixti int. Il-mekkaniżmu huwa intenzjonalment ġeneriku: best_of_n jaċċetta kwalunkwe funzjoni ta’ punteġġ, u jippermettilek tkejjel dak li jimpurtak fil-kuntest tiegħek—preżenza ta’ kelma ewlenija obbligatorja, validità JSON, jew konformità ma’ tul fil-mira. Il-funzjoni length_scorer turi dan l-aħħar kriterju, fejn il-punteġġ jonqos proporzjonalment mad-devjazzjoni mit-tul fil-mira.

def best_of_n(client, messages, n=5, scorer=None, **kwargs):
    """Tiġġenera N tweġibiet u tagħżel l-aħjar waħda."""
    response = client.chat.complete(
        model="ministral-3b-latest",
        messages=messages,
        n=n,
        temperature=0.9,
        **kwargs
    )

    candidates = [
        {
            "index": c.index,
            "content": c.message.content,
            "score": scorer(c.message.content) if scorer else 0
        }
        for c in response.choices
    ]

    if scorer:
        candidates.sort(key=lambda x: x["score"], reverse=True)

    return candidates

# Scorer: tul xieraq (la qasir wisq, la twil wisq)
def length_scorer(text: str, target=200) -> float:
    """Punteġġ ibbażat fuq il-prossimità ma' tul fil-mira."""
    diff = abs(len(text) - target)
    return max(0, 1 - diff / target)

candidates = best_of_n(
    client,
    [{"role": "user", "content": "Write a summary of generative AI in 2026."}],
    n=5,
    scorer=length_scorer,
    max_tokens=300
)

print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")

Qabbel żewġ prompts fuq kampjun

It-tieni każ ta’ użu huwa metodoloġiku aktar milli ffukat fuq il-prodott. Meta tiddeċiedi bejn żewġ formulazzjonijiet ta’ prompt, it-tqabbil ta’ tweġiba waħda ma’ oħra ma jipprova xejn: il-varjanza tal-mudell waħedha tista’ tispjega d-differenza. Billi tiġġenera N tweġibiet għal kull verżjoni u tkejjel it-tul medju u r-rata ta’ tweġibiet distinti, tikseb evidenza preliminari. Punteġġ tad-diversità ta’ 1.0 fuq prompt maħsub biex jipproduċi format stabbli huwa sinjal ta’ allarm, mhux aħbar tajba.

def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
    """Jqabbel żewġ prompts billi jiġġenera N tweġibiet għal kull wieħed."""
    results = {}

    for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
        response = client.chat.complete(
            model="ministral-3b-latest",
            messages=[{"role": "user", "content": prompt}],
            n=n,
            temperature=0.8,
            max_tokens=200
        )

        texts = [c.message.content for c in response.choices]
        avg_length = sum(len(t) for t in texts) / len(texts)
        unique_ratio = len(set(texts)) / len(texts)

        results[label] = {
            "avg_length": round(avg_length),
            "diversity": round(unique_ratio, 2),
            "sample": texts[0][:150]
        }

    return results

# Test
results = ab_test_prompts(
    client,
    "Summarize the benefits of Python.",
    "List the 3 main benefits of Python in one sentence each."
)

for label, data in results.items():
    print(f"\nPrompt {label}:")
    print(f"  Average length : {data['avg_length']} chars")
    print(f"  Diversity      : {data['diversity']}")
    print(f"  Sample         : {data['sample']}...")

Tejjeb l-affidabbiltà tal-klassifikazzjoni permezz tal-votazzjoni

It-tielet każ ta’ użu joffri l-ogħla ROI fil-produzzjoni. Għal kompitu ta’ klassifikazzjoni, tweġiba waħda ma tgħidlek xejn dwar il-fiduċja tal-mudell: it-tweġiba tista’ tkun ovvja, jew tista’ tkun suppożizzjoni fuq ix-xifer bejn żewġ kategoriji. Iġġenera seba’ tweġibiet, igħodd il-voti, u tikseb kemm tikketta kif ukoll rata ta’ fiduċja azzjonabbli—klassifikazzjoni ta’ 4/7 tista’ tiġi rrotata għal validazzjoni umana, filwaqt li 7/7 tgħaddi direttament. L-użu ta’ numru fard jevita l-parità.

from collections import Counter

def majority_vote(client, messages, n=7, **kwargs):
    """Klassifikazzjoni b'votazzjoni tal-maġġoranza fuq N kompletamenti."""
    response = client.chat.complete(
        model="ministral-3b-latest",
        messages=messages,
        n=n,
        temperature=0.7,
        max_tokens=20,
        **kwargs
    )

    votes = [c.message.content.strip().upper() for c in response.choices]
    counts = Counter(votes)
    winner, count = counts.most_common(1)[0]
    confidence = count / n

    return {
        "result": winner,
        "confidence": round(confidence, 2),
        "votes": dict(counts),
        "n": n
    }

# Klassifikazzjoni tas-sentiment
result = majority_vote(
    client,
    messages=[
        {"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
        {"role": "user", "content": "The product is okay but the delivery was very slow."}
    ],
    n=7
)

print(f"Result    : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes     : {result['votes']}")

Meta tuża n > 1

Dan il-parametru mhuwiex iġġustifikat kullimkien: fuq traffiku standard, kull kompletament addizzjonali huwa kost tal-output mingħajr ritorn. It-tabella hawn taħt tiġbor fil-qosor valuri difendibbli bbażati fuq ix-xenarju.

Xenarjun RakkomandatGħaliex
Produzzjoni standard1Kost minimu
Għażla tal-kwalità3-5L-aħjar minn N għal test kritiku
Klassifikazzjoni robusta5-9 (fard)Votazzjoni tal-maġġoranza għall-affidabbiltà
Ittestjar A/B tal-prompt5-10Daqs tal-kampjun suffiċjenti għat-tqabbil
Brainstorming5-10Massima diversità ta’ ideat

Punti Ewlenin

  • Il-parametru n jiġġenera tweġibiet multipli f’sejħa API waħda
  • It-tokens tal-input jiġu ċċarġjati darba; it-tokens tal-output jiġu mmultiplikati b’N
  • Mhux il-mudelli kollha jappoġġjaw n > 1—ivverifika l-kompatibbiltà
  • Il-votazzjoni tal-maġġoranza ttejjeb l-affidabbiltà tal-klassifikazzjoni
  • L-aħjar minn N jagħżel l-aħjar tweġiba bbażata fuq kriterju li jista’ jitkejjel
  • Uża temperatura għolja ma’ n > 1 biex timmassimizza d-diversità tat-tweġibiet