N-completions ja lopetussekvenssit
Tällä sivulla
Useiden vastausten generointi yhdellä pyynnöllä
Tämän generointiparametreja käsittelevän osion päätteeksi tarkastelemme kahta käytännön ohjauskeinoa: N-completions -parametria, jonka avulla voit pyytää useita vastauksia samalle kehotteelle yhdellä API-kutsulla, sekä lopetussekvenssejä, jotka määrittävät, missä kohdassa generointi pysähtyy. Ensimmäinen auttaa vertailemaan vaihtoehtoja, kasvattamaan mahdollisuuksiasi saada optimaalinen vastaus tai syöttämään automaattista valintaprosessia; toinen antaa sinulle kontrollin tulosteiden pituuteen ja muotoiluun.
Parametri n: miten se toimii
Kun asetat arvon n=5, malli tuottaa kehotteellesi 5 riippumatonta vastausta, joista jokainen palautetaan erillisenä vaihtoehtona vastausobjektissa. Yksi laskutukseen liittyvä seikka ansaitsee huomiosi ennen laajamittaista käyttöä: syötetokenit – eli kehote – laskutetaan vain kerran, mutta tulostetokenit laskutetaan jokaisesta completiosta erikseen. Arvolla n=5 maksat tulostetokeneista viisi kertaa, mutta kehotteesta vain kerran: pitkän kehotteen ja lyhyiden vastausten tapauksessa tämä on huomattavasti taloudellisempaa kuin viisi erillistä kutsua.
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose a slogan for a French organic coffee brand."}
],
n=5,
temperature=0.8
)
for i, choice in enumerate(response.choices):
print(f"Option {i+1}: {choice.message.content}")
Tämä koodi tuottaa 5 erilaista slogania, joista voit valita parhaan. Tämä on parametrin n ensimmäinen merkittävä käyttötarkoitus: luova generointi, jossa useiden vaihtoehtojen saaminen iskulauseelle, otsikolle tai tuotenimelle voittaa yksittäisen yrityksen. Toinen käyttötarkoitus on luokittelu äänestyksen avulla: generoit N luokittelua samalle tekstille ja pidät enemmistön vastausta, mikä tasoittaa satunnaisia virheitä. Käytät sitä myös explorointiin – testaat useita lähestymistapoja samaan ongelmaan – sekä laadunvalvontaan tarkistamalla mallin johdonmukaisuuden vertailemalla sen omia vastauksia keskenään.
Tunne kolme rajoitusta ennen käyttöönottoa. Ensinnäkin kaikki Mistral-mallit eivät tue arvoa n suurempana kuin 1: tarkista käyttämäsi mallin dokumentaatio. Toiseksi latenssi kasvaa arvon n myötä, sillä malli generoi yhteensä enemmän tokeneita. Kolmanneksi – ja tämä on klassinen aloittelijan virhe – yhdistä aina n > 1 riittävän korkeaan lämpötilaan (0,5 tai enemmän): lämpötilalla 0 viisi vastaustasi ovat lähes identtisiä, ja olet maksanut viisi kertaa samasta lauseesta.
Lopetussekvenssit: kontrolli generoinnin päättymiskohtaan
Lopetussekvenssit ovat merkkijonoja, jotka pakottavat mallin pysäyttämään generoinnin heti niiden tuottamisen jälkeen. Tämä on olennainen mekanismi vastausten pituuden ja muodon hallintaan. Aloitetaan tarkoituksellisen yksinkertaisella esimerkillä käsitteen havainnollistamiseksi:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List the days of the week, one per line."}
],
stop=["Saturday"]
)
Tässä malli pysähtyy heti tuotettuaan sanan “Saturday”, jolloin tuloksena on typistetty lista. Käytännössä lopetussekvenssit ovat hyödyllisimpiä rakenteellisten erottimien kanssa. Ensimmäinen käyttötapaus: yhden osion erottaminen jäsennellystä vastauksesta. Jos kehote pyytää analyysiä kolmessa osassa, generoinnin pysäyttäminen toiseen otsikkoon antaa sinulle vain ensimmäisen osan:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": """Analyze this product:
## Strengths
(your analysis here)
## Weaknesses
(your analysis here)
## Conclusion
(your analysis here)"""}
],
stop=["## Weaknesses"]
)
# Malli pysähtyy vahvuuksien jälkeen
Toinen tapaus: rajoita generointi JSON-lohkoon yhdistämällä lopetussekvenssi avustajan viestin esitäyttöön, joka avaa aaltosulun:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Return the metadata for this article in JSON."},
{"role": "assistant", "content": "{", "prefix": True}
],
stop=["}"]
)
# Malli generoi JSON-sisällön ja pysähtyy sulkevaan aaltosulkuun
Kolmas tapaus: estä mallia jatkamasta vastauksensa jälkeen. Suljetun kysymyksen tapauksessa pysäyttäminen ensimmäiseen rivinvaihtoon takaa kuivan “KYLLÄ” tai “EI” -vastauksen ilman pyytämätöntä perustelukappaletta:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Answer the following question with YES or NO only.\nIs the Earth round?"}
],
stop=["\n"]
)
Parametri max_tokens
Lopetussekvenssien täydennyksenä max_tokens asettaa ehdottoman rajan tulostetokenien määrälle:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Summarize the history of France."}
],
max_tokens=200
)
Huomioi sen toiminta: max_tokens katkaisee vastauksen äkillisesti, mahdollisesti keskellä lausetta – yhteenvetosi saattaa päättyä sanoihin “ja näin Napoleon”. Käytä sitä turvaverkkona loputtomia vastauksia vastaan, äläkä ensisijaisena pituuden hallintakeinona. Sitä varten suosii ohjeita kehotteessa (“vastaa 3 lauseella”) yhdistettynä anteliaaseen max_tokens-arvoon.
Parametrien yhdistäminen
Nämä mekanismit loistavat käytettynä yhdessä. Seuraava esimerkki generoi 5 erilaista artikkelin otsikkoa, joista jokainen on rajoitettu yhdelle riville lopetussekvenssin ansiosta, ja 50 tokenin katto toimii varmistuksena:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You generate blog article titles. One title per response."
},
{
"role": "user",
"content": "Theme: workplace productivity in 2026"
}
],
n=5,
temperature=0.8,
max_tokens=50,
stop=["\n"]
)
titres = [choice.message.content.strip() for choice in response.choices]
for i, titre in enumerate(titres):
print(f"{i+1}. {titre}")
Keskeiset asiat
- Parametri
ngeneroi useita vastauksia yhdellä kutsulla (syötetokenit laskutetaan kerran) - Yhdistä
n > 1riittävään lämpötilaan saadaksesi todellisia variaatioita - Lopetussekvenssit pysäyttävät generoinnin tiettyyn erottimeen
max_tokenson turvaverkko, ei ensisijainen pituuden hallintakeino- Yhdistä nämä parametrit saavuttaaksesi hienosääteisen generoinnin kontrollin