Lähe põhisisu juurde
Eesti— Vali keel
Menüü

N Completions ja stopp-järjestused

Õppetund 12 / 16 Värskendatud 2. november 2026 Algajatele
Sellel lehel
  1. Mitme vastuse genereerimine ühes päringus
  2. Parameeter n: kuidas see töötab
  3. Stopp-järjestused: kontrolli, kus genereerimine lõpeb
  4. Parameeter max_tokens
  5. Parameetrite kombineerimine
  6. Peamised punktid

Mitme vastuse genereerimine ühes päringus

Selle generatsiooniparameetrite osa kokkuvõtteks vaatleme kahte praktilist juhtimisvahendit: parameetrit N completions, mis võimaldab sama vihje põhjal mitut vastust ühe API-kutsuga, ja stopp-järjestusi, mis määravad, kus genereerimine peatub. Esimene aitab võrrelda alternatiive, suurendada optimaalse vastuse saamise tõenäosust või toita automaatset valikuprotsessi; teine annab sulle kontrolli väljundite pikkuse ja vormingu üle.

Parameeter n: kuidas see töötab

Kui määrad n=5, genereerib mudel sinu vihje jaoks 5 sõltumatut vastust, millest igaüks tagastatakse vastuseobjektis eraldi valikuna. Enne selle ulatuslikku kasutamist pööra tähelepanu ühele arveldusdetailile: sisendtokeneid – sinu vihjet – arveldatakse ainult üks kord, kuid väljundtokeneid arveldatakse iga lõpetuse eest eraldi. Kui n=5, maksad väljundtokenite eest viis korda, kuid vihje eest ainult üks kord: pika vihje ja lühikeste vastuste korral on see oluliselt ökonoomsem kui viis eraldiseisvat kutset.

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Propose a slogan for a French organic coffee brand."}
    ],
    n=5,
    temperature=0.8
)

for i, choice in enumerate(response.choices):
    print(f"Option {i+1}: {choice.message.content}")

See kood toodab 5 erinevat loosungit, mille hulgast saad valida parima. See on n-i esimene peamine kasutusviis: loov genereerimine, kus mitme variandi saamine loosungi, pealkirja või tootenime jaoks on parem kui üksainus katsetus. Teine on klassifitseerimine hääletuse teel: genereerid sama teksti N klassifitseerimist ja säilitad enamuse vastuse, mis silub juhuslikke vigu. Kasutad seda ka uurimistööks – sama probleemi erinevate lähenemisviiside testimiseks – ja kvaliteedikontrolliks, kontrollides mudeli järjepidevust oma vastuste võrdlemise teel.

Enne kasutuselevõttu tea kolme piirangut. Esiteks, mitte kõik Mistrali mudelid ei toeta n-i suuremana kui 1: kontrolli kasutatava mudeli dokumentatsiooni. Teiseks, latentsus kasvab koos n-iga, kuna mudel genereerib kokku rohkem tokeneid. Lõpuks – ja see on klassikaline algaja viga – kombineeri alati n > 1 piisava temperatuuriga (0,5 ja üle selle): temperatuuril 0 on sinu viis vastust peaaegu identsed ja oled maksnud viis korda sama lause eest.

Stopp-järjestused: kontrolli, kus genereerimine lõpeb

Stopp-järjestused on märgistringid, mis sunnivad mudelit peatuma niipea, kui ta need genereerib. See on hädavajalik mehhanism vastuste pikkuse ja vormingu kontrollimiseks. Alustame tahtlikult lihtsustatud näitest, et mõiste selgeks teha:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "List the days of the week, one per line."}
    ],
    stop=["Saturday"]
)

Siin peatub mudel niipea, kui ta genereerib sõna „Saturday“, tekitades lühendatud loetelu. Praktikas on stopp-järjestused kõige kasulikumad struktuurieraldajatega. Esimene kasutusjuhtum: ekstraheeri struktureeritud vastusest üksainus lõik. Kui sinu vihje nõuab analüüsi kolmes osas, annab genereerimise peatamine teise pealkirja juures sulle ainult esimese:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": """Analyze this product:
## Strengths
(your analysis here)
## Weaknesses
(your analysis here)
## Conclusion
(your analysis here)"""}
    ],
    stop=["## Weaknesses"]
)
# Mudel peatub pärast tugevuste kirjeldamist

Teine juhtum: piira genereerimine JSON-plokiga, kombineerides stopp-järjestuse assistendi sõnumi eeltäitmisega, mis avab sulgude paarid:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Return the metadata for this article in JSON."},
        {"role": "assistant", "content": "{", "prefix": True}
    ],
    stop=["}"]
)
# Mudel genereerib JSON-sisu ja peatub sulgemissulu juures

Kolmas juhtum: takista mudelit pärast oma vastust jätkamast. Suletud küsimuse korral garanteerib esimese reavahetuse juures peatumine kuiva „JAH“ või „EI“ ilma põhjenduslõiguta, mida sa ei tellinud:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Answer the following question with YES or NO only.\nIs the Earth round?"}
    ],
    stop=["\n"]
)

Parameeter max_tokens

Stopp-järjestustele täienduseks määrab max_tokens kindla piiri väljundtokenite arvule:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Summarize the history of France."}
    ],
    max_tokens=200
)

Jälgi selle käitumist: max_tokens katkestab vastuse järsult, võimalik, et keset lauset – sinu kokkuvõte võib lõppeda sõnadega „ja nii Napoleon“. Käsitse seda ohutusvõrguna lõputute vastuste vastu, mitte kui peamist pikkuse kontrollimise viisi. Selleks eelista juhiseid vihjes („vasta 3 lauses“) koos helde max_tokens-iga.

Parameetrite kombineerimine

Need mehhanismid hiilgavad koos kasutamisel. Järgnev näide genereerib 5 erinevat artikli pealkirja, millest igaüks on tänu stopp-järjestusele piiratud ühe reale, koos 50 tokeni laega ohutusmeetmena:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "You generate blog article titles. One title per response."
        },
        {
            "role": "user",
            "content": "Theme: workplace productivity in 2026"
        }
    ],
    n=5,
    temperature=0.8,
    max_tokens=50,
    stop=["\n"]
)

titres = [choice.message.content.strip() for choice in response.choices]
for i, titre in enumerate(titres):
    print(f"{i+1}. {titre}")

Peamised punktid

  • Parameeter n genereerib ühes kutses mitu vastust (sisendtokeneid arveldatakse üks kord)
  • Kombineeri n > 1 piisava temperatuuriga, et saada tegelikke variatsioone
  • Stopp-järjestused peatavad genereerimise kindla eraldaja juures
  • max_tokens on ohutusvõrk, mitte peamine pikkuse kontrollimise vahend
  • Kombineeri neid parameetreid täpseks genereerimiskontrolliks