Užbaigtys N ir sustabdymo sekos
Šiame puslapyje
Kelių atsakymų generavimas vienu užklausimu
Baigdami šį generavimo parametrų skyrių, aptarsime du praktinius valdymo įrankius: parametrą „N completions“, leidžiantį vienu API iškvietimu gauti kelis atsakymus iš to paties užuomazgos (prompt), ir sustabdymo sekas, kurios nurodo, kur baigti generavimą. Pirmasis padeda palyginti alternatyvas, padidinti tikimybę gauti optimalų atsakymą arba maitinti automatinio atrankos procesą; antrasis suteikia kontrolę над išvesties ilgiu ir formatu.
Parametras n: kaip jis veikia
Nustatęs n=5, modelis sugeneruoja 5 nepriklausomus atsakymus tavo užuomazgai, kurių kiekvienas grąžinamas kaip atskiras pasirinkimas atsakymo objekte. Yra vienas su kainodara susijęs aspektas, į kurį verta atkreipti dėmesį prieš intensyviai naudojant šią funkciją: įvesties tokenai – tavo užuomazga – apmokestinami tik vieną kartą, tačiau išvesties tokenai apmokestinami už kiekvieną užbaigtą variantą. Kai n=5, už išvesties tokenus mokai penkis kartus, bet už užuomazgą – tik vieną kartą: jei užuomazga ilga, o atsakymai trumpi, tai yra žymiai ekonomiškiau nei penki atskiri iškvietimai.
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose a slogan for a French organic coffee brand."}
],
n=5,
temperature=0.8
)
for i, choice in enumerate(response.choices):
print(f"Option {i+1}: {choice.message.content}")
Šis kodas sugeneruoja 5 skirtingus šūkius, iš kurių gali išsirinkti geriausią. Tai pirmasis pagrindinis n panaudojimas: kūrybinis generavimas, kai gauti kelias šūkio, pavadinimo ar produkto vardo opcijas yra geriau nei vienas bandymas. Antrasis – klasifikavimas balsavimo būdu: sugeneruoji N to paties teksto klasifikacijas ir palieki daugumos atsakymą, taip išlygindamas atsitiktines klaidas. Taip pat naudoji jį tyrinėjimui – testuodamas kelis tos pačios problemos sprendimo būdus – ir kokybės kontrolei, tikrindamas modelio nuoseklumą lygindamas jo paties atsakymus.
Prieš diegdamas žinok tris apribojimus. Pirma, ne visi „Mistral“ modeliai palaiko n, didesnį už 1: patikrink naudojamo modelio dokumentaciją. Antra, delsos laikas didėja didėjant n, nes modelis sugeneruoja daugiau tokenų iš viso. Galiausiai – tai klasikinė pradedančiųjų klaida – visada derink n > 1 su pakankamai aukšta temperatūra (nuo 0,5 ir daugiau): esant 0 temperatūrai, tavo penki atsakymai bus beveik identiški, ir būsi sumokėjęs penkis kartus už tą patį sakinį.
Sustabdymo sekos: valdyk, kur baigiasi generavimas
Sustabdymo sekos yra simbolių eilutės, kurios priverčia modelį sustoti vos jas sugeneravus. Tai esminis mechanizmas atsakymų ilgiui ir formatui valdyti. Pradėkime nuo tyčia supaprastinto pavyzdžio, kad įsisavintumėte koncepciją:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List the days of the week, one per line."}
],
stop=["Saturday"]
)
Čia modelis sustoja vos sugeneravęs žodį „Saturday“, todėl gaunamas sutrumpintas sąrašas. Praktiškai sustabdymo sekos naudingiausios naudojant struktūrinius skirtukus. Pirmasis naudojimo atvejis: išgauti vieną sekciją iš struktūruoto atsakymo. Jei tavo užuomazgoje prašoma analizės trimis dalimis, sustabdžius generavimą ties antra antrašte, gausi tik pirmąją:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": """Analyze this product:
## Strengths
(your analysis here)
## Weaknesses
(your analysis here)
## Conclusion
(your analysis here)"""}
],
stop=["## Weaknesses"]
)
# Modelis sustoja po privalumų skyriaus
Antrasis atvejis: apriboti generavimą iki JSON bloko, derinant sustabdymo seką su asistento žinutės priešpildymu, kuris atidaro laužtinį skliaustą:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Return the metadata for this article in JSON."},
{"role": "assistant", "content": "{", "prefix": True}
],
stop=["}"]
)
# Modelis sugeneruoja JSON turinį ir sustoja ties uždaromuoju skliaustu
Trečiasis atvejis: neleisti modeliui tęsti atsakymo po jo pabaigos. Uždaram klausimui sustabdymas ties pirmuoju eilutės lūžiu garantuoja sausą „TAIP“ arba „NE“, be nepageidaujamo pagrindimo pastraipos:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Answer the following question with YES or NO only.\nIs the Earth round?"}
],
stop=["\n"]
)
Parametras max_tokens
Papildydamas sustabdymo sekas, max_tokens nustato griežtą ribą išvesties tokenų skaičiui:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Summarize the history of France."}
],
max_tokens=200
)
Stebėk jo elgseną: max_tokens staigiai nutraukia atsakymą, galbūt net sakinio viduryje – tavo santrauka gali baigtis žodžiais „ir taip Napoleonas“. Laikyk tai saugos tinklu nuo begalinių atsakymų, o ne pagrindiniu būdu valdyti ilgį. Tam geriau naudok instrukcijas užuomazgoje („atsakyk 3 sakiniais“) kartu su dosniu max_tokens.
Parametrų derinimas
Šie mechanizmai atsiskleidžia visa šlove, kai naudojami kartu. Šiame pavyzdyje sugeneruojami 5 skirtingi straipsnių pavadinimai, kiekvienas apribotas viena eilute dėka sustabdymo sekos, su 50 tokenų lubomis kaip apsauga:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You generate blog article titles. One title per response."
},
{
"role": "user",
"content": "Theme: workplace productivity in 2026"
}
],
n=5,
temperature=0.8,
max_tokens=50,
stop=["\n"]
)
titres = [choice.message.content.strip() for choice in response.choices]
for i, titre in enumerate(titres):
print(f"{i+1}. {titre}")
Svarbiausi punktai
- Parametras
nsugeneruoja kelis atsakymus vienu iškvietimu (įvesties tokenai apmokestinami vieną kartą) - Derink
n > 1su pakankama temperatūra, kad gautum realias variacijas - Sustabdymo sekos stabdo generavimą ties specifiniu skirtuku
max_tokensyra saugos tinklas, o ne pagrindinis ilgio valdymo būdas- Derink šiuos parametrus tiksliam generavimo valdymui