Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Kazne i ponavljanja

Lekcija 11 od 16 Ažurirano 28. srpnja 2026. Početnik
Na ovoj stranici
  1. Izbjegavanje petlji i ponavljanja
  2. Kazna za prisutnost (Presence Penalty)
  3. Kazna za učestalost (Frequency Penalty)
  4. Razlika između dviju kazni
  5. Kada koristiti koju kaznu
  6. Čuvaj se ekstremnih vrijednosti
  7. Ključne točke

Izbjegavanje petlji i ponavljanja

Jedno od najfrustrirajućih ponašanja jezičnog modela jest ponavljanje: model upada u petlju iste riječi, strukture rečenica ili ideja. Zatražiš detaljan članak, a dobiješ tri odlomka koji svi počinju s „Nadalje“, s riječju „inovacija“ u svakom retku. Mistral modeli nude dva parametra za borbu protiv toga: kaznu za prisutnost (presence penalty) i kaznu za učestalost (frequency penalty). Iako djeluju slično, njihovi mehanizmi se dovoljno razlikuju da odabir jednog nad drugim stvarno mijenja ishod.

Kazna za prisutnost (Presence Penalty)

Kazna za prisutnost jednokratna je kazna koja se primjenjuje na svaki token koji se već barem jednom pojavio u generiranom odgovoru. Nije bitno je li token korišten jednom ili 50 puta: kazna je ista. Parametar prihvaća vrijednosti od -2.0 do 2.0, pri čemu je 0 zadana vrijednost (onemogućeno). Pozitivna vrijednost potiče model na korištenje novih riječi; negativna vrijednost, što je rjeđe, potiče ga na ponovno korištenje istih.

# Positive presence penalty: more varied vocabulary
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Describe the benefits of remote work."}
    ],
    presence_penalty=0.6
)

U praksi je kazna za prisutnost idealna kada želiš da model istraži širi rječnik i pokrije različite aspekte teme. U gornjem primjeru rada na daljinu, to tjera model od fleksibilnosti radnog vremena do korporativnih nekretnina i ugljičnog otiska, umjesto da tri puta ponavlja argument o uštedi vremena.

Kazna za učestalost (Frequency Penalty)

Kazna za učestalost, s druge strane, kumulativna je: povećava se svaki put kada se token ponovno upotrijebi. Što se češće riječ pojavljuje, to je veća kazna, što je čini znatno učinkovitijom od kazne za prisutnost u prekidanju petlji. Dijeli isti raspon vrijednosti, od -2.0 do 2.0, s 0 kao zadanom vrijednošću.

# Frequency penalty: reduces repetition of frequent words
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Write a 300-word article on artificial intelligence."}
    ],
    frequency_penalty=0.5
)

Njezina najbolja primjena: dugi tekstovi gdje model teži ponavljanju istih riječi ili struktura. Članak od 300 riječi o umjetnoj inteligenciji, bez kazne, riskira neprestano ponavljanje „AI“ i „tehnologija“ u svakoj rečenici; kazna za učestalost postupno prisiljava model na variranje jezika.

Razlika između dviju kazni

Da bi shvatio nijansu, pogledajmo numerički primjer. Model je već generirao riječ „inovacija“ 5 puta u svom odgovoru. S kaznom za prisutnost od 0.5, „inovacija“ dobiva kaznu od 0.5 – fiksnu, 5 pojavljivanja ništa ne mijenja. S kaznom za učestalost od 0.5, ista riječ dobiva kaznu od 2.5, odnosno 0.5 pomnoženo s njezinih 5 pojavljivanja. Kazna za učestalost stoga je mnogo agresivnija protiv tokena koji se često vraćaju, dok se kazna za prisutnost primjenjuje kao blag, ujednačen pritisak na sve što je već rečeno.

Kada koristiti koju kaznu

Koristi kaznu za prisutnost kada je cilj tematska raznolikost. Tijekom sesije oluje ideja želiš deset doista različitih ideja, a ne deset preformulacija prve:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "List 10 digital marketing trends for 2026."}
    ],
    presence_penalty=0.8,
    temperature=0.7
)

Koristi kaznu za učestalost kada je cilj fluidnost teksta. Kod dugog vodiča, ona sprječava uspostavljanje jezičnih tikova bez iskrivljavanja poruke:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Write a comprehensive guide on agile project management."}
    ],
    frequency_penalty=0.4,
    temperature=0.5
)

Ništa te ne sprječava da kombiniraš obje za kumulativni učinak – kreativni bilten, na primjer, ima koristi i od raznolikog rječnika i od teksta bez ponavljanja:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Write a creative newsletter on tech trends."}
    ],
    presence_penalty=0.3,
    frequency_penalty=0.5,
    temperature=0.6
)

Čuvaj se ekstremnih vrijednosti

Ove kazne nisu potenciometri koje trebaš okrenuti do maksimuma: previsoke vrijednosti narušavaju kvalitetu umjesto da je poboljšavaju. Iznad 1.0 za kaznu za prisutnost, model počinje izbjegavati uobičajene riječi koje su zapravo nužne – članove, prijedloge – i tekst postaje čudan. Iznad 1.0 za kaznu za učestalost, prisiljava neodgovarajuće sinonime samo kako bi izbjegao ponavljanje: „automobil“ postaje „automobilsko vozilo“, zatim „vozilo“, pa „motorizirano vozilo“ u istom odlomku. Što se tiče negativnih vrijednosti, one potiču ponavljanje, što je rijetko poželjno. Praktična preporuka: ostani u rasponu od 0.0 do 0.8 za oba parametra; iznad toga, nuspojave nadmašuju prednosti.

Kao vodič po zadatku: ekstrakcija i klasifikacija odvijaju se bez ikakve kazne (presence_penalty=0, frequency_penalty=0, točnost je prioritet); kratko pisanje do 200 riječi zadovoljava se s frequency_penalty=0.2; dugo pisanje preko 500 riječi ima koristi od kombinacije presence_penalty=0.3 i frequency_penalty=0.5; oluja ideja okreće dominaciju s presence_penalty=0.6 i frequency_penalty=0.3; a popis jedinstvenih točaka ide do presence_penalty=0.8 s frequency_penalty=0.2.

Ključne točke

  • Kazna za prisutnost potiče korištenje novih riječi (fiksna kazna)
  • Kazna za učestalost obeshrabruje ponavljanje čestih riječi (kumulativna kazna)
  • Oba parametra imaju raspon od -2.0 do 2.0, s 0 kao zadanom vrijednošću
  • Ostani u rasponu od 0.0 do 0.8 kako bi izbjegao neželjene učinke
  • Koristi kaznu za prisutnost za tematsku raznolikost, a kaznu za učestalost za fluidnost teksta