Il-kompletamenti n
F'din il-paġna
Iġġenera tweġibiet multipli f’sejħa waħda
Il-parametru n jistruzzjona lill-mudell biex jipproduċi tweġibiet alternattivi multipli għall-istess prompt f’sejħa API waħda. Filwaqt li dan jista’ jidher bħala karatteristika minuri, jippermetti tliet każijiet ta’ użu serji: tqabbil ta’ żewġ formulazzjonijiet ta’ prompt fuq sett ta’ kampjuni, għażla awtomatika tal-aħjar tweġiba minn grupp, u esplorazzjoni tal-ispazju tas-soluzzjonijiet minflok ma taċċetta l-ewwel output.
B’mod predefinit, n=1, u l-API tirritorna tweġiba waħda f’choices. Jekk tissettja n=5, l-array ikun fih ħames entrati, kull waħda bl-index tagħha. Innota t-temperatura stabbilita għal 1.0 fl-eżempju hawn taħt: mingħajr biżżejjed aleatorjetà, il-ħames tweġibiet kollha kienu jkunu identiċi, u jagħmlu s-sejħa inutili.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="ministral-3b-latest",
messages=[
{"role": "user", "content": "What is the best programming language for beginners? One word only."}
],
temperature=1.0, # Temperatura għolja biex timmassimizza d-diversità
n=5
)
for choice in response.choices:
print(f"Response {choice.index}: {choice.message.content}")
Żewġ fatturi jiddeterminaw il-valur prattiku ta’ dan il-parametru. L-ewwel huwa l-fatturazzjoni: it-tokens tal-input jiġu ċċarġjati darba biss peress li l-prompt jintbagħat darba biss, iżda t-tokens tal-output jiġu ċċarġjati għal kull kompletament. B’n=5 u max_tokens=100, il-limitu tal-output tiegħek jaqbeż għal 500 token. Dan huwa preċiżament dak li jagħmel l-n attraenti għal prompts twal—l-amortizzament ta’ kuntest kbir fuq ħames tweġibiet jispiċċa jiswa ferm inqas milli tagħmel ħames sejħiet separati.
print(f"Prompt tokens : {response.usage.prompt_tokens}") # Iċċarġjat 1x
print(f"Response tokens: {response.usage.completion_tokens}") # Iċċarġjat nx
print(f"Total : {response.usage.total_tokens}")
It-tieni fattur huwa l-kompatibbiltà: mhux il-mudelli kollha ta’ Mistral jappoġġjaw l-n. Sa April 2026, verżjonijiet riċenti ta’ mistral-large ma jappoġġjawx n > 1. Uża ministral-3b-latest jew mudelli kompatibbli oħra għal din il-karatteristika—għalhekk l-eżempji kollha f’din il-lezzjoni jiddependu fuq dak il-mudell.
Agħżel l-aħjar tweġiba
L-ewwel każ ta’ użu jinvolvi l-ġenerazzjoni ta’ kandidati multipli u ż-żamma tal-aħjar wieħed ibbażat fuq kriterju li tiddefinixti int. Il-mekkaniżmu huwa intenzjonalment ġeneriku: best_of_n jaċċetta kwalunkwe funzjoni ta’ punteġġ, u jippermettilek tkejjel dak li jimpurtak fil-kuntest tiegħek—preżenza ta’ kelma ewlenija obbligatorja, validità JSON, jew konformità ma’ tul fil-mira. Il-funzjoni length_scorer turi dan l-aħħar kriterju, fejn il-punteġġ jonqos proporzjonalment mad-devjazzjoni mit-tul fil-mira.
def best_of_n(client, messages, n=5, scorer=None, **kwargs):
"""Tiġġenera N tweġibiet u tagħżel l-aħjar waħda."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.9,
**kwargs
)
candidates = [
{
"index": c.index,
"content": c.message.content,
"score": scorer(c.message.content) if scorer else 0
}
for c in response.choices
]
if scorer:
candidates.sort(key=lambda x: x["score"], reverse=True)
return candidates
# Scorer: tul xieraq (la qasir wisq, la twil wisq)
def length_scorer(text: str, target=200) -> float:
"""Punteġġ ibbażat fuq il-prossimità ma' tul fil-mira."""
diff = abs(len(text) - target)
return max(0, 1 - diff / target)
candidates = best_of_n(
client,
[{"role": "user", "content": "Write a summary of generative AI in 2026."}],
n=5,
scorer=length_scorer,
max_tokens=300
)
print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")
Qabbel żewġ prompts fuq kampjun
It-tieni każ ta’ użu huwa metodoloġiku aktar milli ffukat fuq il-prodott. Meta tiddeċiedi bejn żewġ formulazzjonijiet ta’ prompt, it-tqabbil ta’ tweġiba waħda ma’ oħra ma jipprova xejn: il-varjanza tal-mudell waħedha tista’ tispjega d-differenza. Billi tiġġenera N tweġibiet għal kull verżjoni u tkejjel it-tul medju u r-rata ta’ tweġibiet distinti, tikseb evidenza preliminari. Punteġġ tad-diversità ta’ 1.0 fuq prompt maħsub biex jipproduċi format stabbli huwa sinjal ta’ allarm, mhux aħbar tajba.
def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
"""Jqabbel żewġ prompts billi jiġġenera N tweġibiet għal kull wieħed."""
results = {}
for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
response = client.chat.complete(
model="ministral-3b-latest",
messages=[{"role": "user", "content": prompt}],
n=n,
temperature=0.8,
max_tokens=200
)
texts = [c.message.content for c in response.choices]
avg_length = sum(len(t) for t in texts) / len(texts)
unique_ratio = len(set(texts)) / len(texts)
results[label] = {
"avg_length": round(avg_length),
"diversity": round(unique_ratio, 2),
"sample": texts[0][:150]
}
return results
# Test
results = ab_test_prompts(
client,
"Summarize the benefits of Python.",
"List the 3 main benefits of Python in one sentence each."
)
for label, data in results.items():
print(f"\nPrompt {label}:")
print(f" Average length : {data['avg_length']} chars")
print(f" Diversity : {data['diversity']}")
print(f" Sample : {data['sample']}...")
Tejjeb l-affidabbiltà tal-klassifikazzjoni permezz tal-votazzjoni
It-tielet każ ta’ użu joffri l-ogħla ROI fil-produzzjoni. Għal kompitu ta’ klassifikazzjoni, tweġiba waħda ma tgħidlek xejn dwar il-fiduċja tal-mudell: it-tweġiba tista’ tkun ovvja, jew tista’ tkun suppożizzjoni fuq ix-xifer bejn żewġ kategoriji. Iġġenera seba’ tweġibiet, igħodd il-voti, u tikseb kemm tikketta kif ukoll rata ta’ fiduċja azzjonabbli—klassifikazzjoni ta’ 4/7 tista’ tiġi rrotata għal validazzjoni umana, filwaqt li 7/7 tgħaddi direttament. L-użu ta’ numru fard jevita l-parità.
from collections import Counter
def majority_vote(client, messages, n=7, **kwargs):
"""Klassifikazzjoni b'votazzjoni tal-maġġoranza fuq N kompletamenti."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.7,
max_tokens=20,
**kwargs
)
votes = [c.message.content.strip().upper() for c in response.choices]
counts = Counter(votes)
winner, count = counts.most_common(1)[0]
confidence = count / n
return {
"result": winner,
"confidence": round(confidence, 2),
"votes": dict(counts),
"n": n
}
# Klassifikazzjoni tas-sentiment
result = majority_vote(
client,
messages=[
{"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
{"role": "user", "content": "The product is okay but the delivery was very slow."}
],
n=7
)
print(f"Result : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes : {result['votes']}")
Meta tuża n > 1
Dan il-parametru mhuwiex iġġustifikat kullimkien: fuq traffiku standard, kull kompletament addizzjonali huwa kost tal-output mingħajr ritorn. It-tabella hawn taħt tiġbor fil-qosor valuri difendibbli bbażati fuq ix-xenarju.
| Xenarju | n Rakkomandat | Għaliex |
|---|---|---|
| Produzzjoni standard | 1 | Kost minimu |
| Għażla tal-kwalità | 3-5 | L-aħjar minn N għal test kritiku |
| Klassifikazzjoni robusta | 5-9 (fard) | Votazzjoni tal-maġġoranza għall-affidabbiltà |
| Ittestjar A/B tal-prompt | 5-10 | Daqs tal-kampjun suffiċjenti għat-tqabbil |
| Brainstorming | 5-10 | Massima diversità ta’ ideat |
Punti Ewlenin
- Il-parametru
njiġġenera tweġibiet multipli f’sejħa API waħda - It-tokens tal-input jiġu ċċarġjati darba; it-tokens tal-output jiġu mmultiplikati b’N
- Mhux il-mudelli kollha jappoġġjaw
n > 1—ivverifika l-kompatibbiltà - Il-votazzjoni tal-maġġoranza ttejjeb l-affidabbiltà tal-klassifikazzjoni
- L-aħjar minn N jagħżel l-aħjar tweġiba bbażata fuq kriterju li jista’ jitkejjel
- Uża temperatura għolja ma’
n > 1biex timmassimizza d-diversità tat-tweġibiet