Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

N Completions i sekvence zaustavljanja

Lekcija 12 od 16 Ažurirano 2. studenoga 2026. Početnik
Na ovoj stranici
  1. Generiraj više odgovora u jednom zahtjevu
  2. Parametar n: kako funkcionira
  3. Sekvence zaustavljanja: kontroliraj gdje generiranje završava
  4. Parametar max_tokens
  5. Kombiniraj parametre
  6. Ključne točke

Generiraj više odgovora u jednom zahtjevu

Za kraj ovog dijela o parametrima generiranja, pogledajmo dva praktična alata za kontrolu: parametar N completions, koji ti omogućuje traženje više odgovora na isti prompt u jednom API pozivu, i sekvence zaustavljanja (stop sequences), koje određuju gdje generiranje staje. Prvi ti pomaže usporediti alternative, povećati šanse za optimalan odgovor ili napajati proces automatskog odabira; drugi ti daje kontrolu nad duljinom i formatom izlaza.

Parametar n: kako funkcionira

Kada postaviš n=5, model generira 5 neovisnih odgovora na tvoj prompt, pri čemu se svaki vraća kao zaseban izbor u objektu odgovora. Jedna stavka vezana uz naplatu zaslužuje tvoju pozornost prije intenzivne uporabe: ulazni tokeni—tvoj prompt—naplaćuju se samo jednom, ali se izlazni tokeni naplaćuju za svaku kompletaciju. Uz n=5, plaćaš pet puta za izlazne tokene, ali samo jednom za prompt: za dugačak prompt i kratke odgovore, to je znatno ekonomičnije od pet zasebnih poziva.

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Propose a slogan for a French organic coffee brand."}
    ],
    n=5,
    temperature=0.8
)

for i, choice in enumerate(response.choices):
    print(f"Option {i+1}: {choice.message.content}")

Ovaj kod proizvodi 5 različitih slogana, od kojih biraš najbolji. To je prva glavna uporaba parametra n: kreativno generiranje, gdje je dobivanje više opcija za slogan, naslov ili naziv proizvoda bolje od jednog pokušaja. Druga je klasifikacija glasovanjem: generiraš N klasifikacija istog teksta i zadržavaš odgovor većine, čime izglađuješ povremene pogreške. Također ga koristiš za istraživanje—testiranje nekoliko pristupa istom problemu—i za kontrolu kvalitete, provjerom dosljednosti modela usporedbom njegovih vlastitih odgovora.

Upamti tri ograničenja prije implementacije. Prvo, ne podržavaju svi Mistral modeli n veći od 1: provjeri dokumentaciju za model koji koristiš. Dalje, latencija raste s n, jer model generira više tokena ukupno. Konačno—i ovo je klasična početnička pogreška—uvijek kombiniraj n > 1 s dovoljno visokom temperaturom (0,5 i više): na temperaturi 0, tvojih pet odgovora bit će gotovo identični i platit ćeš pet puta istu rečenicu.

Sekvence zaustavljanja: kontroliraj gdje generiranje završava

Sekvence zaustavljanja su nizovi znakova koji prisiljavaju model da stane čim ih generira. Ovo je ključni mehanizam za kontrolu duljine i formata odgovora. Krenimo od namjerno pojednostavljenog primjera kako bismo uspostavili koncept:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "List the days of the week, one per line."}
    ],
    stop=["Saturday"]
)

Ovdje model staje čim generira riječ „Saturday“, proizvodeći skraćeni popis. U praksi su sekvence zaustavljanja najkorisnije sa strukturnim razdjelnicima. Prvi slučaj uporabe: izdvajanje jednog dijela iz strukturiranog odgovora. Ako tvoj prompt traži analizu u tri dijela, zaustavljanje generiranja na drugom naslovu daje ti samo prvi dio:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": """Analyze this product:
## Strengths
(your analysis here)
## Weaknesses
(your analysis here)
## Conclusion
(your analysis here)"""}
    ],
    stop=["## Weaknesses"]
)
# Model staje nakon prednosti

Drugi slučaj: ograniči generiranje na JSON blok, kombinirajući sekvencu zaustavljanja s prethodnim ispunjavanjem (pre-fill) poruke asistenta koje otvara vitičastu zagradu:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Return the metadata for this article in JSON."},
        {"role": "assistant", "content": "{", "prefix": True}
    ],
    stop=["}"]
)
# Model generira JSON sadržaj i staje na zatvarajućoj zagradi

Treći slučaj: spriječi model da nastavi nakon svog odgovora. Za zatvoreno pitanje, zaustavljanje na prvom prijelomu u novi red garantira suhi „DA“ ili „NE“, bez odlomka s opravdanjem koji nisi tražio:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Answer the following question with YES or NO only.\nIs the Earth round?"}
    ],
    stop=["\n"]
)

Parametar max_tokens

Kao dopuna sekvencama zaustavljanja, max_tokens postavlja tvrdi limit na broj izlaznih tokena:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Summarize the history of France."}
    ],
    max_tokens=200
)

Promatraj njegovo ponašanje: max_tokens naglo prekida odgovor, potencijalno usred rečenice—tvoj sažetak mogao bi završiti s „i tako Napoleon“. Tretiraj ga kao sigurnosnu mrežu protiv beskonačnih odgovora, a ne kao primarni način kontrole duljine. Za to radije koristi upute u promptu („odgovori u 3 rečenice“) u kombinaciji s velikodušnim max_tokens.

Kombiniraj parametre

Ovi mehanizmi najbolje funkcioniraju kada se koriste zajedno. Sljedeći primjer generira 5 različitih naslova članaka, od kojih je svaki ograničen na jedan red zahvaljujući sekvenci zaustavljanja, s gornjom granicom od 50 tokena kao sigurnosnom mjerom:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "You generate blog article titles. One title per response."
        },
        {
            "role": "user",
            "content": "Theme: workplace productivity in 2026"
        }
    ],
    n=5,
    temperature=0.8,
    max_tokens=50,
    stop=["\n"]
)

titres = [choice.message.content.strip() for choice in response.choices]
for i, titre in enumerate(titres):
    print(f"{i+1}. {titre}")

Ključne točke

  • Parametar n generira više odgovora u jednom pozivu (ulazni tokeni se naplaćuju jednom)
  • Kombiniraj n > 1 s dovoljno visokom temperaturom kako bi dobio stvarne varijacije
  • Sekvence zaustavljanja prekidaju generiranje na određenom razdjelniku
  • max_tokens je sigurnosna mreža, a ne primarna kontrola duljine
  • Kombiniraj ove parametre za preciznu kontrolu generiranja