Užbaigimai su parametru n
Šiame puslapyje
Kelių atsakymų generavimas vienu kvietimu
Parametras n nurodo modeliui sugeneruoti kelis alternatyvius atsakymus į tą patį užklausos tekstą vieno API užklausos metu. Nors tai gali atrodyti kaip nedidelė funkcija, ji leidžia įgyvendinti tris rimtus naudojimo atvejus: dviejų užklausos formuluuočių palyginimą imties duomenyse, automatinį geriausio atsakymo pasirinkimą iš grupės ir sprendimų erdvės tyrinėjimą vietoj to, kad priimtumėte pirmąjį gautą rezultatą.
Pagal nutylėjimą n=1, o API grąžina vieną atsakymą masyve choices. Jei nustatysi n=5, masyve bus penki įrašai, kiekvienas su savo index. Atkreipk dėmesį, kad žemiau pateiktame pavyzdyje temperatūra nustatyta į 1,0: be pakankamo atsitiktinumo, visi penki atsakymai būtų identiški, todėl kvietimas būtų beprasmis.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="ministral-3b-latest",
messages=[
{"role": "user", "content": "What is the best programming language for beginners? One word only."}
],
temperature=1.0, # Aukšta temperatūra maksimaliam įvairumui
n=5
)
for choice in response.choices:
print(f"Response {choice.index}: {choice.message.content}")
Du veiksniai lemia praktinę šio parametro vertę. Pirmasis yra kainodara: įvesties tokenai apmokestinami tik vieną kartą, nes užklausos tekstas siunčiamas vieną kartą, tačiau išvesties tokenai apmokestinami už kiekvieną užbaigimą. Nustačius n=5 ir max_tokens=100, jūsų išvesties limitas šokteli iki 500 tokenų. Būtent tai daro parametrą n patrauklų ilgiems užklausos tekstams – didelio konteksto paskirstymas penkiems atsakymams kainuoja žymiai mažiau nei penkių atskirų kvietimų atlikimas.
print(f"Prompt tokens : {response.usage.prompt_tokens}") # Apmokestinama 1x
print(f"Response tokens: {response.usage.completion_tokens}") # Apmokestinama nx
print(f"Total : {response.usage.total_tokens}")
Antrasis veiksnys yra suderinamumas: ne visi „Mistral“ modeliai palaiko parametrą n. Nuo 2026 m. balandžio mėn. naujausios mistral-large versijos nepalaiko n > 1. Šiai funkcijai naudokite ministral-3b-latest arba kitus suderinamus modelius – būtent todėl visi šios pamokos pavyzdžiai remiasi šiuo modeliu.
Geriausio atsakymo pasirinkimas
Pirmasis naudojimo atvejis apima kelių kandidatų generavimą ir geriausio iš jų palikimą pagal jūsų nustatytą kriterijų. Mechanizmas sąmoningai padarytas universalus: best_of_n priima bet kokią vertinimo funkciją, leidžiančią išmatuoti tai, kas svarbu jūsų kontekste – privalomo raktažodžio buvimą, JSON validumą arba atitikimą tiksliniam ilgiui. Funkcija length_scorer iliustruoja paskutinį kriterijų, kai balas mažėja proporcingai nuokrypiui nuo tikslinio ilgio.
def best_of_n(client, messages, n=5, scorer=None, **kwargs):
"""Generuoja N atsakymų ir pasirenka geriausią."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.9,
**kwargs
)
candidates = [
{
"index": c.index,
"content": c.message.content,
"score": scorer(c.message.content) if scorer else 0
}
for c in response.choices
]
if scorer:
candidates.sort(key=lambda x: x["score"], reverse=True)
return candidates
# Vertintojas: tinkamas ilgis (ne per trumpas, ne per ilgas)
def length_scorer(text: str, target=200) -> float:
"""Balas pagal artumą tiksliniam ilgiui."""
diff = abs(len(text) - target)
return max(0, 1 - diff / target)
candidates = best_of_n(
client,
[{"role": "user", "content": "Write a summary of generative AI in 2026."}],
n=5,
scorer=length_scorer,
max_tokens=300
)
print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")
Dviejų užklausų palyginimas imtyje
Antrasis naudojimo atvejis yra metodologinis, o ne orientuotas į produktą. Sprendžiant tarp dviejų užklausos formuluuočių, vieno atsakymo palyginimas su kitu nieko neįrodo: skirtumą galėtų lemti vien modelio variacija. Sugeneravus N atsakymų kiekvienai versijai ir išmatavus vidutinį ilgį bei skirtingų atsakymų dažnį, gaunate preliminarių įrodymų. Įvairovės balas 1,0 užklausai, skirtai generuoti stabilų formatą, yra raudona vėliava, o ne gera žinia.
def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
"""Palygina dvi užklausas sugeneruodamas N atsakymų kiekvienai."""
results = {}
for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
response = client.chat.complete(
model="ministral-3b-latest",
messages=[{"role": "user", "content": prompt}],
n=n,
temperature=0.8,
max_tokens=200
)
texts = [c.message.content for c in response.choices]
avg_length = sum(len(t) for t in texts) / len(texts)
unique_ratio = len(set(texts)) / len(texts)
results[label] = {
"avg_length": round(avg_length),
"diversity": round(unique_ratio, 2),
"sample": texts[0][:150]
}
return results
# Testas
results = ab_test_prompts(
client,
"Summarize the benefits of Python.",
"List the 3 main benefits of Python in one sentence each."
)
for label, data in results.items():
print(f"\nPrompt {label}:")
print(f" Average length : {data['avg_length']} chars")
print(f" Diversity : {data['diversity']}")
print(f" Sample : {data['sample']}...")
Klasifikacijos patikimumo didinimas balsavimu
Trečiasis naudojimo atvejis gamyboje suteikia didžiausią grąžą (ROI). Klasifikacijos užduotyje vienas atsakymas nieko nepasako apie modelio pasitikėjimą: atsakymas gali būti akivaizdus, arba tai gali būti ribinis spėjimas tarp dviejų kategorijų. Sugeneruokite septynis atsakymus, suskaičiuokite balsus ir gausite tiek etiketę, tiek veiksmingą pasitikėjimo rodiklį – 4/7 klasifikaciją galima nukreipti žmogaus patvirtinimui, o 7/7 praleisti tiesiai. Nelyginio skaičiaus naudojimas padeda išvengti lygiųjų.
from collections import Counter
def majority_vote(client, messages, n=7, **kwargs):
"""Daugumos balsavimo klasifikacija per N užbaigimų."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.7,
max_tokens=20,
**kwargs
)
votes = [c.message.content.strip().upper() for c in response.choices]
counts = Counter(votes)
winner, count = counts.most_common(1)[0]
confidence = count / n
return {
"result": winner,
"confidence": round(confidence, 2),
"votes": dict(counts),
"n": n
}
# Nuotaikų klasifikacija
result = majority_vote(
client,
messages=[
{"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
{"role": "user", "content": "The product is okay but the delivery was very slow."}
],
n=7
)
print(f"Result : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes : {result['votes']}")
Kada naudoti n > 1
Šis parametras nėra pateisinamas visur: esant standartinei apkrovai, kiekvienas papildomas užbaigimas yra išvesties išlaidos be grąžos. Toliau pateiktoje lentelėje apibendrinamos pagrįstos reikšmės pagal scenarijų.
| Scenarijus | Rekomenduojamas n | Kodėl |
|---|---|---|
| Standartinė gamyba | 1 | Minimalios išlaidos |
| Kokybės pasirinkimas | 3–5 | Geriausias iš N kritiniam tekstui |
| Patikima klasifikacija | 5–9 (nelyginis) | Daugumos balsavimas patikimumui |
| Užklausų A/B testavimas | 5–10 | Pakankamas imties dydis palyginimui |
| Idėjų generavimas | 5–10 | Maksimalus idėjų įvairumas |
Svarbiausi punktai
- Parametras
nsugeneruoja kelis atsakymus vienu API kvietimu - Įvesties tokenai apmokestinami vieną kartą; išvesties tokenai dauginami iš N
- Ne visi modeliai palaiko
n > 1– patikrinkite suderinamumą - Daugumos balsavimas pagerina klasifikacijos patikimumą
- „Geriausias iš N“ pasirenka geriausią atsakymą pagal išmatuojamą kriterijų
- Naudokite aukštą temperatūrą su
n > 1, kad maksimaliai padidintumėte atsakymų įvairovę