Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Užbaigtys N ir sustabdymo sekos

Paskaita 12 iš 16 Atnaujinta 2026 m. lapkričio 2 d. Pradedantisiems
Šiame puslapyje
  1. Kelių atsakymų generavimas vienu užklausimu
  2. Parametras n: kaip jis veikia
  3. Sustabdymo sekos: valdyk, kur baigiasi generavimas
  4. Parametras max_tokens
  5. Parametrų derinimas
  6. Svarbiausi punktai

Kelių atsakymų generavimas vienu užklausimu

Baigdami šį generavimo parametrų skyrių, aptarsime du praktinius valdymo įrankius: parametrą „N completions“, leidžiantį vienu API iškvietimu gauti kelis atsakymus iš to paties užuomazgos (prompt), ir sustabdymo sekas, kurios nurodo, kur baigti generavimą. Pirmasis padeda palyginti alternatyvas, padidinti tikimybę gauti optimalų atsakymą arba maitinti automatinio atrankos procesą; antrasis suteikia kontrolę над išvesties ilgiu ir formatu.

Parametras n: kaip jis veikia

Nustatęs n=5, modelis sugeneruoja 5 nepriklausomus atsakymus tavo užuomazgai, kurių kiekvienas grąžinamas kaip atskiras pasirinkimas atsakymo objekte. Yra vienas su kainodara susijęs aspektas, į kurį verta atkreipti dėmesį prieš intensyviai naudojant šią funkciją: įvesties tokenai – tavo užuomazga – apmokestinami tik vieną kartą, tačiau išvesties tokenai apmokestinami už kiekvieną užbaigtą variantą. Kai n=5, už išvesties tokenus mokai penkis kartus, bet už užuomazgą – tik vieną kartą: jei užuomazga ilga, o atsakymai trumpi, tai yra žymiai ekonomiškiau nei penki atskiri iškvietimai.

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Propose a slogan for a French organic coffee brand."}
    ],
    n=5,
    temperature=0.8
)

for i, choice in enumerate(response.choices):
    print(f"Option {i+1}: {choice.message.content}")

Šis kodas sugeneruoja 5 skirtingus šūkius, iš kurių gali išsirinkti geriausią. Tai pirmasis pagrindinis n panaudojimas: kūrybinis generavimas, kai gauti kelias šūkio, pavadinimo ar produkto vardo opcijas yra geriau nei vienas bandymas. Antrasis – klasifikavimas balsavimo būdu: sugeneruoji N to paties teksto klasifikacijas ir palieki daugumos atsakymą, taip išlygindamas atsitiktines klaidas. Taip pat naudoji jį tyrinėjimui – testuodamas kelis tos pačios problemos sprendimo būdus – ir kokybės kontrolei, tikrindamas modelio nuoseklumą lygindamas jo paties atsakymus.

Prieš diegdamas žinok tris apribojimus. Pirma, ne visi „Mistral“ modeliai palaiko n, didesnį už 1: patikrink naudojamo modelio dokumentaciją. Antra, delsos laikas didėja didėjant n, nes modelis sugeneruoja daugiau tokenų iš viso. Galiausiai – tai klasikinė pradedančiųjų klaida – visada derink n > 1 su pakankamai aukšta temperatūra (nuo 0,5 ir daugiau): esant 0 temperatūrai, tavo penki atsakymai bus beveik identiški, ir būsi sumokėjęs penkis kartus už tą patį sakinį.

Sustabdymo sekos: valdyk, kur baigiasi generavimas

Sustabdymo sekos yra simbolių eilutės, kurios priverčia modelį sustoti vos jas sugeneravus. Tai esminis mechanizmas atsakymų ilgiui ir formatui valdyti. Pradėkime nuo tyčia supaprastinto pavyzdžio, kad įsisavintumėte koncepciją:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "List the days of the week, one per line."}
    ],
    stop=["Saturday"]
)

Čia modelis sustoja vos sugeneravęs žodį „Saturday“, todėl gaunamas sutrumpintas sąrašas. Praktiškai sustabdymo sekos naudingiausios naudojant struktūrinius skirtukus. Pirmasis naudojimo atvejis: išgauti vieną sekciją iš struktūruoto atsakymo. Jei tavo užuomazgoje prašoma analizės trimis dalimis, sustabdžius generavimą ties antra antrašte, gausi tik pirmąją:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": """Analyze this product:
## Strengths
(your analysis here)
## Weaknesses
(your analysis here)
## Conclusion
(your analysis here)"""}
    ],
    stop=["## Weaknesses"]
)
# Modelis sustoja po privalumų skyriaus

Antrasis atvejis: apriboti generavimą iki JSON bloko, derinant sustabdymo seką su asistento žinutės priešpildymu, kuris atidaro laužtinį skliaustą:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Return the metadata for this article in JSON."},
        {"role": "assistant", "content": "{", "prefix": True}
    ],
    stop=["}"]
)
# Modelis sugeneruoja JSON turinį ir sustoja ties uždaromuoju skliaustu

Trečiasis atvejis: neleisti modeliui tęsti atsakymo po jo pabaigos. Uždaram klausimui sustabdymas ties pirmuoju eilutės lūžiu garantuoja sausą „TAIP“ arba „NE“, be nepageidaujamo pagrindimo pastraipos:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Answer the following question with YES or NO only.\nIs the Earth round?"}
    ],
    stop=["\n"]
)

Parametras max_tokens

Papildydamas sustabdymo sekas, max_tokens nustato griežtą ribą išvesties tokenų skaičiui:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Summarize the history of France."}
    ],
    max_tokens=200
)

Stebėk jo elgseną: max_tokens staigiai nutraukia atsakymą, galbūt net sakinio viduryje – tavo santrauka gali baigtis žodžiais „ir taip Napoleonas“. Laikyk tai saugos tinklu nuo begalinių atsakymų, o ne pagrindiniu būdu valdyti ilgį. Tam geriau naudok instrukcijas užuomazgoje („atsakyk 3 sakiniais“) kartu su dosniu max_tokens.

Parametrų derinimas

Šie mechanizmai atsiskleidžia visa šlove, kai naudojami kartu. Šiame pavyzdyje sugeneruojami 5 skirtingi straipsnių pavadinimai, kiekvienas apribotas viena eilute dėka sustabdymo sekos, su 50 tokenų lubomis kaip apsauga:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "You generate blog article titles. One title per response."
        },
        {
            "role": "user",
            "content": "Theme: workplace productivity in 2026"
        }
    ],
    n=5,
    temperature=0.8,
    max_tokens=50,
    stop=["\n"]
)

titres = [choice.message.content.strip() for choice in response.choices]
for i, titre in enumerate(titres):
    print(f"{i+1}. {titre}")

Svarbiausi punktai

  • Parametras n sugeneruoja kelis atsakymus vienu iškvietimu (įvesties tokenai apmokestinami vieną kartą)
  • Derink n > 1 su pakankama temperatūra, kad gautum realias variacijas
  • Sustabdymo sekos stabdo generavimą ties specifiniu skirtuku
  • max_tokens yra saugos tinklas, o ne pagrindinis ilgio valdymo būdas
  • Derink šiuos parametrus tiksliam generavimo valdymui