Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Dokončanja N in zaporedja zaustavitve

Lekcija 12 od 16 Posodobljeno 2. november 2026 Začetnik
Na tej strani
  1. Ustvari več odgovorov v enem samem zahtevku
  2. Parameter n: kako deluje
  3. Zaporedja zaustavitve: nadzor nad koncem generiranja
  4. Parameter max_tokens
  5. Kombiniranje parametrov
  6. Ključne ugotovitve

Ustvari več odgovorov v enem samem zahtevku

Za zaključek tega razdelka o parametrih generiranja si oglejmo dve praktični orodji za nadzor: parameter dokončanja N (N completions), ki ti omogoča zahtevati več odgovorov za isti poziv v enem klicu API-ja, in zaporedja zaustavitve (stop sequences), ki določajo, kje se generiranje ustavi. Prvo ti pomaga primerjati alternative, povečati možnosti za optimalen odgovor ali napajati proces samodejne izbire; drugo ti daje nadzor nad dolžino in obliko izhodov.

Parameter n: kako deluje

Ko nastaviš n=5, model ustvari 5 neodvisnih odgovorov za tvoj poziv, pri čemer je vsak vrnjen kot ločena izbira v objektu odgovora. Pred intenzivno uporabo bodi pozoren na eno pomembno podrobnost glede zaračunavanja: vhodni žetoni (tvoj poziv) se zaračunajo samo enkrat, medtem ko se izhodni žetoni zaračunajo za vsako dokončanje posebej. Pri n=5 plačaš petkrat za izhodne žetone, a le enkrat za poziv: pri dolgih pozivih in kratkih odgovorih je to bistveno bolj ekonomično kot pet ločenih klicev.

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Propose a slogan for a French organic coffee brand."}
    ],
    n=5,
    temperature=0.8
)

for i, choice in enumerate(response.choices):
    print(f"Option {i+1}: {choice.message.content}")

Ta koda ustvari 5 različnih sloganov, izmed katerih izbereš najboljšega. To je prva glavna uporaba parametra n: ustvarjalno generiranje, kjer je pridobitev več možnosti za slogan, naslov ali ime izdelka boljše od enega samega poskusa. Druga uporaba je razvrščanje z glasovanjem: ustvariš N razvrstitev istega besedila in obdržiš odgovor večine, kar zgladi občasne napake. Uporabljaš ga tudi za raziskovanje – testiranje več pristopov k istemu problemu – in za nadzor kakovosti s preverjanjem doslednosti modela s primerjavo njegovih lastnih odgovorov.

Pred uvedbo v proizvodnjo spoznaj tri omejitve. Prvič, ne podpirajo vsi modeli Mistral vrednosti n, večje od 1: preveri dokumentacijo za model, ki ga uporabljaš. Drugič, latenca narašča z vrednostjo n, saj model skupaj ustvari več žetonov. Nazadnje – in to je klasična napaka začetnikov – vedno kombiniraj n > 1 z zadostno temperaturo (0,5 in več): pri temperaturi 0 bodo tvojih pet odgovorov skoraj identičnih in petkrat boš plačal za isti stavek.

Zaporedja zaustavitve: nadzor nad koncem generiranja

Zaporedja zaustavitve so nizi znakov, ki prisilijo model, da se ustavi takoj, ko jih ustvari. To je bistven mehanizem za nadzor dolžine in oblike odgovorov. Začnimo z namerno poenostavljenim primerom, da utrdimo koncept:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "List the days of the week, one per line."}
    ],
    stop=["Saturday"]
)

Tukaj se model ustavi takoj, ko ustvari besedo „Saturday”, kar proizvede okrnjen seznam. V praksi so zaporedja zaustavitve najbolj uporabna pri strukturnih ločilih. Prvi primer uporabe: izvleci en sam odsek iz strukturiranega odgovora. Če tvoj poziv zahteva analizo v treh delih, ti zaustavitev generiranja pri drugem naslovu vrne le prvega:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": """Analyze this product:
## Strengths
(your analysis here)
## Weaknesses
(your analysis here)
## Conclusion
(your analysis here)"""}
    ],
    stop=["## Weaknesses"]
)
# Model se ustavi po prednostih

Drugi primer: omeji generiranje na blok JSON s kombinacijo zaporedja zaustavitve in predhodnega izpolnjevanja sporočila asistenta, ki odpre oklepaj:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Return the metadata for this article in JSON."},
        {"role": "assistant", "content": "{", "prefix": True}
    ],
    stop=["}"]
)
# Model ustvari vsebino JSON in se ustavi pri zaključnem oklepaju

Tretji primer: prepreči modelu nadaljevanje po njegovem odgovoru. Pri zaprtem vprašanju zaustavitev ob prvem prelomu vrstice zagotovi suh „DA” ali „NE”, brez odstavka z utemeljitvijo, ki ga nisi zahteval:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Answer the following question with YES or NO only.\nIs the Earth round?"}
    ],
    stop=["\n"]
)

Parameter max_tokens

Kot dopolnilo zaporedjem zaustavitve parameter max_tokens določa strogo omejitev števila izhodnih žetonov:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Summarize the history of France."}
    ],
    max_tokens=200
)

Bodi pozoren na njegovo obnašanje: max_tokens odgovor nenadoma prereže, potencialno sredi stavka – tvoja povzetek se lahko konča z „in tako Napoleon”. Obravnavaj ga kot varnostno mrežo proti neskončnim odgovorom, ne kot primarni način za nadzor dolžine. Za to raje uporabi navodila v pozivu („odgovori v 3 stavkih”) v kombinaciji z velikodušnim max_tokens.

Kombiniranje parametrov

Ti mehanizmi najbolj izstopajo, ko se uporabljajo skupaj. Naslednji primer ustvari 5 različnih naslovov člankov, pri čemer je vsak zaradi zaporedja zaustavitve omejen na eno vrstico, z zgornjo mejo 50 žetonov kot varnostnim ukrepom:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "You generate blog article titles. One title per response."
        },
        {
            "role": "user",
            "content": "Theme: workplace productivity in 2026"
        }
    ],
    n=5,
    temperature=0.8,
    max_tokens=50,
    stop=["\n"]
)

titres = [choice.message.content.strip() for choice in response.choices]
for i, titre in enumerate(titres):
    print(f"{i+1}. {titre}")

Ključne ugotovitve

  • Parameter n ustvari več odgovorov v enem klicu (vhodni žetoni se zaračunajo enkrat)
  • Kombiniraj n > 1 z zadostno temperaturo za pridobitev resničnih variacij
  • Zaporedja zaustavitve ustavijo generiranje ob določenem ločilu
  • max_tokens je varnostna mreža, ne primarno orodje za nadzor dolžine
  • Združi te parametre za natančen nadzor generiranja