N Completions i sekvence zaustavljanja
Na ovoj stranici
Generiraj više odgovora u jednom zahtjevu
Za kraj ovog dijela o parametrima generiranja, pogledajmo dva praktična alata za kontrolu: parametar N completions, koji ti omogućuje traženje više odgovora na isti prompt u jednom API pozivu, i sekvence zaustavljanja (stop sequences), koje određuju gdje generiranje staje. Prvi ti pomaže usporediti alternative, povećati šanse za optimalan odgovor ili napajati proces automatskog odabira; drugi ti daje kontrolu nad duljinom i formatom izlaza.
Parametar n: kako funkcionira
Kada postaviš n=5, model generira 5 neovisnih odgovora na tvoj prompt, pri čemu se svaki vraća kao zaseban izbor u objektu odgovora. Jedna stavka vezana uz naplatu zaslužuje tvoju pozornost prije intenzivne uporabe: ulazni tokeni—tvoj prompt—naplaćuju se samo jednom, ali se izlazni tokeni naplaćuju za svaku kompletaciju. Uz n=5, plaćaš pet puta za izlazne tokene, ali samo jednom za prompt: za dugačak prompt i kratke odgovore, to je znatno ekonomičnije od pet zasebnih poziva.
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose a slogan for a French organic coffee brand."}
],
n=5,
temperature=0.8
)
for i, choice in enumerate(response.choices):
print(f"Option {i+1}: {choice.message.content}")
Ovaj kod proizvodi 5 različitih slogana, od kojih biraš najbolji. To je prva glavna uporaba parametra n: kreativno generiranje, gdje je dobivanje više opcija za slogan, naslov ili naziv proizvoda bolje od jednog pokušaja. Druga je klasifikacija glasovanjem: generiraš N klasifikacija istog teksta i zadržavaš odgovor većine, čime izglađuješ povremene pogreške. Također ga koristiš za istraživanje—testiranje nekoliko pristupa istom problemu—i za kontrolu kvalitete, provjerom dosljednosti modela usporedbom njegovih vlastitih odgovora.
Upamti tri ograničenja prije implementacije. Prvo, ne podržavaju svi Mistral modeli n veći od 1: provjeri dokumentaciju za model koji koristiš. Dalje, latencija raste s n, jer model generira više tokena ukupno. Konačno—i ovo je klasična početnička pogreška—uvijek kombiniraj n > 1 s dovoljno visokom temperaturom (0,5 i više): na temperaturi 0, tvojih pet odgovora bit će gotovo identični i platit ćeš pet puta istu rečenicu.
Sekvence zaustavljanja: kontroliraj gdje generiranje završava
Sekvence zaustavljanja su nizovi znakova koji prisiljavaju model da stane čim ih generira. Ovo je ključni mehanizam za kontrolu duljine i formata odgovora. Krenimo od namjerno pojednostavljenog primjera kako bismo uspostavili koncept:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List the days of the week, one per line."}
],
stop=["Saturday"]
)
Ovdje model staje čim generira riječ „Saturday“, proizvodeći skraćeni popis. U praksi su sekvence zaustavljanja najkorisnije sa strukturnim razdjelnicima. Prvi slučaj uporabe: izdvajanje jednog dijela iz strukturiranog odgovora. Ako tvoj prompt traži analizu u tri dijela, zaustavljanje generiranja na drugom naslovu daje ti samo prvi dio:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": """Analyze this product:
## Strengths
(your analysis here)
## Weaknesses
(your analysis here)
## Conclusion
(your analysis here)"""}
],
stop=["## Weaknesses"]
)
# Model staje nakon prednosti
Drugi slučaj: ograniči generiranje na JSON blok, kombinirajući sekvencu zaustavljanja s prethodnim ispunjavanjem (pre-fill) poruke asistenta koje otvara vitičastu zagradu:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Return the metadata for this article in JSON."},
{"role": "assistant", "content": "{", "prefix": True}
],
stop=["}"]
)
# Model generira JSON sadržaj i staje na zatvarajućoj zagradi
Treći slučaj: spriječi model da nastavi nakon svog odgovora. Za zatvoreno pitanje, zaustavljanje na prvom prijelomu u novi red garantira suhi „DA“ ili „NE“, bez odlomka s opravdanjem koji nisi tražio:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Answer the following question with YES or NO only.\nIs the Earth round?"}
],
stop=["\n"]
)
Parametar max_tokens
Kao dopuna sekvencama zaustavljanja, max_tokens postavlja tvrdi limit na broj izlaznih tokena:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Summarize the history of France."}
],
max_tokens=200
)
Promatraj njegovo ponašanje: max_tokens naglo prekida odgovor, potencijalno usred rečenice—tvoj sažetak mogao bi završiti s „i tako Napoleon“. Tretiraj ga kao sigurnosnu mrežu protiv beskonačnih odgovora, a ne kao primarni način kontrole duljine. Za to radije koristi upute u promptu („odgovori u 3 rečenice“) u kombinaciji s velikodušnim max_tokens.
Kombiniraj parametre
Ovi mehanizmi najbolje funkcioniraju kada se koriste zajedno. Sljedeći primjer generira 5 različitih naslova članaka, od kojih je svaki ograničen na jedan red zahvaljujući sekvenci zaustavljanja, s gornjom granicom od 50 tokena kao sigurnosnom mjerom:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You generate blog article titles. One title per response."
},
{
"role": "user",
"content": "Theme: workplace productivity in 2026"
}
],
n=5,
temperature=0.8,
max_tokens=50,
stop=["\n"]
)
titres = [choice.message.content.strip() for choice in response.choices]
for i, titre in enumerate(titres):
print(f"{i+1}. {titre}")
Ključne točke
- Parametar
ngenerira više odgovora u jednom pozivu (ulazni tokeni se naplaćuju jednom) - Kombiniraj
n > 1s dovoljno visokom temperaturom kako bi dobio stvarne varijacije - Sekvence zaustavljanja prekidaju generiranje na određenom razdjelniku
max_tokensje sigurnosna mreža, a ne primarna kontrola duljine- Kombiniraj ove parametre za preciznu kontrolu generiranja