N Completions ja stopp-järjestused
Sellel lehel
Mitme vastuse genereerimine ühes päringus
Selle generatsiooniparameetrite osa kokkuvõtteks vaatleme kahte praktilist juhtimisvahendit: parameetrit N completions, mis võimaldab sama vihje põhjal mitut vastust ühe API-kutsuga, ja stopp-järjestusi, mis määravad, kus genereerimine peatub. Esimene aitab võrrelda alternatiive, suurendada optimaalse vastuse saamise tõenäosust või toita automaatset valikuprotsessi; teine annab sulle kontrolli väljundite pikkuse ja vormingu üle.
Parameeter n: kuidas see töötab
Kui määrad n=5, genereerib mudel sinu vihje jaoks 5 sõltumatut vastust, millest igaüks tagastatakse vastuseobjektis eraldi valikuna. Enne selle ulatuslikku kasutamist pööra tähelepanu ühele arveldusdetailile: sisendtokeneid – sinu vihjet – arveldatakse ainult üks kord, kuid väljundtokeneid arveldatakse iga lõpetuse eest eraldi. Kui n=5, maksad väljundtokenite eest viis korda, kuid vihje eest ainult üks kord: pika vihje ja lühikeste vastuste korral on see oluliselt ökonoomsem kui viis eraldiseisvat kutset.
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose a slogan for a French organic coffee brand."}
],
n=5,
temperature=0.8
)
for i, choice in enumerate(response.choices):
print(f"Option {i+1}: {choice.message.content}")
See kood toodab 5 erinevat loosungit, mille hulgast saad valida parima. See on n-i esimene peamine kasutusviis: loov genereerimine, kus mitme variandi saamine loosungi, pealkirja või tootenime jaoks on parem kui üksainus katsetus. Teine on klassifitseerimine hääletuse teel: genereerid sama teksti N klassifitseerimist ja säilitad enamuse vastuse, mis silub juhuslikke vigu. Kasutad seda ka uurimistööks – sama probleemi erinevate lähenemisviiside testimiseks – ja kvaliteedikontrolliks, kontrollides mudeli järjepidevust oma vastuste võrdlemise teel.
Enne kasutuselevõttu tea kolme piirangut. Esiteks, mitte kõik Mistrali mudelid ei toeta n-i suuremana kui 1: kontrolli kasutatava mudeli dokumentatsiooni. Teiseks, latentsus kasvab koos n-iga, kuna mudel genereerib kokku rohkem tokeneid. Lõpuks – ja see on klassikaline algaja viga – kombineeri alati n > 1 piisava temperatuuriga (0,5 ja üle selle): temperatuuril 0 on sinu viis vastust peaaegu identsed ja oled maksnud viis korda sama lause eest.
Stopp-järjestused: kontrolli, kus genereerimine lõpeb
Stopp-järjestused on märgistringid, mis sunnivad mudelit peatuma niipea, kui ta need genereerib. See on hädavajalik mehhanism vastuste pikkuse ja vormingu kontrollimiseks. Alustame tahtlikult lihtsustatud näitest, et mõiste selgeks teha:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List the days of the week, one per line."}
],
stop=["Saturday"]
)
Siin peatub mudel niipea, kui ta genereerib sõna „Saturday“, tekitades lühendatud loetelu. Praktikas on stopp-järjestused kõige kasulikumad struktuurieraldajatega. Esimene kasutusjuhtum: ekstraheeri struktureeritud vastusest üksainus lõik. Kui sinu vihje nõuab analüüsi kolmes osas, annab genereerimise peatamine teise pealkirja juures sulle ainult esimese:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": """Analyze this product:
## Strengths
(your analysis here)
## Weaknesses
(your analysis here)
## Conclusion
(your analysis here)"""}
],
stop=["## Weaknesses"]
)
# Mudel peatub pärast tugevuste kirjeldamist
Teine juhtum: piira genereerimine JSON-plokiga, kombineerides stopp-järjestuse assistendi sõnumi eeltäitmisega, mis avab sulgude paarid:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Return the metadata for this article in JSON."},
{"role": "assistant", "content": "{", "prefix": True}
],
stop=["}"]
)
# Mudel genereerib JSON-sisu ja peatub sulgemissulu juures
Kolmas juhtum: takista mudelit pärast oma vastust jätkamast. Suletud küsimuse korral garanteerib esimese reavahetuse juures peatumine kuiva „JAH“ või „EI“ ilma põhjenduslõiguta, mida sa ei tellinud:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Answer the following question with YES or NO only.\nIs the Earth round?"}
],
stop=["\n"]
)
Parameeter max_tokens
Stopp-järjestustele täienduseks määrab max_tokens kindla piiri väljundtokenite arvule:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Summarize the history of France."}
],
max_tokens=200
)
Jälgi selle käitumist: max_tokens katkestab vastuse järsult, võimalik, et keset lauset – sinu kokkuvõte võib lõppeda sõnadega „ja nii Napoleon“. Käsitse seda ohutusvõrguna lõputute vastuste vastu, mitte kui peamist pikkuse kontrollimise viisi. Selleks eelista juhiseid vihjes („vasta 3 lauses“) koos helde max_tokens-iga.
Parameetrite kombineerimine
Need mehhanismid hiilgavad koos kasutamisel. Järgnev näide genereerib 5 erinevat artikli pealkirja, millest igaüks on tänu stopp-järjestusele piiratud ühe reale, koos 50 tokeni laega ohutusmeetmena:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You generate blog article titles. One title per response."
},
{
"role": "user",
"content": "Theme: workplace productivity in 2026"
}
],
n=5,
temperature=0.8,
max_tokens=50,
stop=["\n"]
)
titres = [choice.message.content.strip() for choice in response.choices]
for i, titre in enumerate(titres):
print(f"{i+1}. {titre}")
Peamised punktid
- Parameeter
ngenereerib ühes kutses mitu vastust (sisendtokeneid arveldatakse üks kord) - Kombineeri
n > 1piisava temperatuuriga, et saada tegelikke variatsioone - Stopp-järjestused peatavad genereerimise kindla eraldaja juures
max_tokenson ohutusvõrk, mitte peamine pikkuse kontrollimise vahend- Kombineeri neid parameetreid täpseks genereerimiskontrolliks