Dokončanja N in zaporedja zaustavitve
Na tej strani
Ustvari več odgovorov v enem samem zahtevku
Za zaključek tega razdelka o parametrih generiranja si oglejmo dve praktični orodji za nadzor: parameter dokončanja N (N completions), ki ti omogoča zahtevati več odgovorov za isti poziv v enem klicu API-ja, in zaporedja zaustavitve (stop sequences), ki določajo, kje se generiranje ustavi. Prvo ti pomaga primerjati alternative, povečati možnosti za optimalen odgovor ali napajati proces samodejne izbire; drugo ti daje nadzor nad dolžino in obliko izhodov.
Parameter n: kako deluje
Ko nastaviš n=5, model ustvari 5 neodvisnih odgovorov za tvoj poziv, pri čemer je vsak vrnjen kot ločena izbira v objektu odgovora. Pred intenzivno uporabo bodi pozoren na eno pomembno podrobnost glede zaračunavanja: vhodni žetoni (tvoj poziv) se zaračunajo samo enkrat, medtem ko se izhodni žetoni zaračunajo za vsako dokončanje posebej. Pri n=5 plačaš petkrat za izhodne žetone, a le enkrat za poziv: pri dolgih pozivih in kratkih odgovorih je to bistveno bolj ekonomično kot pet ločenih klicev.
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose a slogan for a French organic coffee brand."}
],
n=5,
temperature=0.8
)
for i, choice in enumerate(response.choices):
print(f"Option {i+1}: {choice.message.content}")
Ta koda ustvari 5 različnih sloganov, izmed katerih izbereš najboljšega. To je prva glavna uporaba parametra n: ustvarjalno generiranje, kjer je pridobitev več možnosti za slogan, naslov ali ime izdelka boljše od enega samega poskusa. Druga uporaba je razvrščanje z glasovanjem: ustvariš N razvrstitev istega besedila in obdržiš odgovor večine, kar zgladi občasne napake. Uporabljaš ga tudi za raziskovanje – testiranje več pristopov k istemu problemu – in za nadzor kakovosti s preverjanjem doslednosti modela s primerjavo njegovih lastnih odgovorov.
Pred uvedbo v proizvodnjo spoznaj tri omejitve. Prvič, ne podpirajo vsi modeli Mistral vrednosti n, večje od 1: preveri dokumentacijo za model, ki ga uporabljaš. Drugič, latenca narašča z vrednostjo n, saj model skupaj ustvari več žetonov. Nazadnje – in to je klasična napaka začetnikov – vedno kombiniraj n > 1 z zadostno temperaturo (0,5 in več): pri temperaturi 0 bodo tvojih pet odgovorov skoraj identičnih in petkrat boš plačal za isti stavek.
Zaporedja zaustavitve: nadzor nad koncem generiranja
Zaporedja zaustavitve so nizi znakov, ki prisilijo model, da se ustavi takoj, ko jih ustvari. To je bistven mehanizem za nadzor dolžine in oblike odgovorov. Začnimo z namerno poenostavljenim primerom, da utrdimo koncept:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List the days of the week, one per line."}
],
stop=["Saturday"]
)
Tukaj se model ustavi takoj, ko ustvari besedo „Saturday”, kar proizvede okrnjen seznam. V praksi so zaporedja zaustavitve najbolj uporabna pri strukturnih ločilih. Prvi primer uporabe: izvleci en sam odsek iz strukturiranega odgovora. Če tvoj poziv zahteva analizo v treh delih, ti zaustavitev generiranja pri drugem naslovu vrne le prvega:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": """Analyze this product:
## Strengths
(your analysis here)
## Weaknesses
(your analysis here)
## Conclusion
(your analysis here)"""}
],
stop=["## Weaknesses"]
)
# Model se ustavi po prednostih
Drugi primer: omeji generiranje na blok JSON s kombinacijo zaporedja zaustavitve in predhodnega izpolnjevanja sporočila asistenta, ki odpre oklepaj:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Return the metadata for this article in JSON."},
{"role": "assistant", "content": "{", "prefix": True}
],
stop=["}"]
)
# Model ustvari vsebino JSON in se ustavi pri zaključnem oklepaju
Tretji primer: prepreči modelu nadaljevanje po njegovem odgovoru. Pri zaprtem vprašanju zaustavitev ob prvem prelomu vrstice zagotovi suh „DA” ali „NE”, brez odstavka z utemeljitvijo, ki ga nisi zahteval:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Answer the following question with YES or NO only.\nIs the Earth round?"}
],
stop=["\n"]
)
Parameter max_tokens
Kot dopolnilo zaporedjem zaustavitve parameter max_tokens določa strogo omejitev števila izhodnih žetonov:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Summarize the history of France."}
],
max_tokens=200
)
Bodi pozoren na njegovo obnašanje: max_tokens odgovor nenadoma prereže, potencialno sredi stavka – tvoja povzetek se lahko konča z „in tako Napoleon”. Obravnavaj ga kot varnostno mrežo proti neskončnim odgovorom, ne kot primarni način za nadzor dolžine. Za to raje uporabi navodila v pozivu („odgovori v 3 stavkih”) v kombinaciji z velikodušnim max_tokens.
Kombiniranje parametrov
Ti mehanizmi najbolj izstopajo, ko se uporabljajo skupaj. Naslednji primer ustvari 5 različnih naslovov člankov, pri čemer je vsak zaradi zaporedja zaustavitve omejen na eno vrstico, z zgornjo mejo 50 žetonov kot varnostnim ukrepom:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You generate blog article titles. One title per response."
},
{
"role": "user",
"content": "Theme: workplace productivity in 2026"
}
],
n=5,
temperature=0.8,
max_tokens=50,
stop=["\n"]
)
titres = [choice.message.content.strip() for choice in response.choices]
for i, titre in enumerate(titres):
print(f"{i+1}. {titre}")
Ključne ugotovitve
- Parameter
nustvari več odgovorov v enem klicu (vhodni žetoni se zaračunajo enkrat) - Kombiniraj
n > 1z zadostno temperaturo za pridobitev resničnih variacij - Zaporedja zaustavitve ustavijo generiranje ob določenem ločilu
max_tokensje varnostna mreža, ne primarno orodje za nadzor dolžine- Združi te parametre za natančen nadzor generiranja