Straffe og gentagelser
På denne side
Undgå løkker og gentagelser
En af de mest frustrerende adfærdsmønstre hos sprogmodeller er gentagelse: Modellen havner i en løkke med de samme ord, sætningsstrukturer eller idéer. Du beder om en dybdegående artikel, men får tre afsnit, der alle starter med „Desuden”, hvor ordet „innovation” går igen på hver linje. Mistral-modeller tilbyder to parametre til at bekæmpe dette: presence penalty (tilstedeværelsesstraf) og frequency penalty (frekvensstraf). De ligner hinanden, men deres mekanismer er forskellige nok til, at valget af den ene frem for den anden reelt ændrer outputtet.
Presence Penalty (Tilstedeværelsesstraf)
Presence penalty er en engangsstraf, der anvendes på ethvert token, der allerede er optrådt mindst én gang i det genererede svar. Det er ligegyldigt, om tokenet er brugt én gang eller 50 gange; straffen er den samme. Parameteren accepterer værdier fra -2,0 til 2,0, hvor 0 er standardværdien (deaktiveret). En positiv værdi opfordrer modellen til at bruge nye ord; en negativ værdi, hvilket er sjældnere, opfordrer den til at genbruge de samme.
# Positive presence penalty: more varied vocabulary
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Describe the benefits of remote work."}
],
presence_penalty=0.6
)
I praksis er presence penalty ideel, når du ønsker, at modellen skal udforske et bredere ordforråd og dække forskellige aspekter af et emne. I eksemplet ovenfor om hjemmearbejde skubber det modellen fra timefleksibilitet over til virksomhedens faste ejendomme og videre til CO2-aftryk, i stedet for at genbruge argumentet om tidsbesparelse tre gange.
Frequency Penalty (Frekvensstraf)
Frequency penalty er derimod kumulativ: Den stiger hver gang et token genbruges. Jo hyppigere et ord optræder, desto hårdere straffes det, hvilket gør denne metode betydeligt mere effektiv end presence penalty til at bryde løkker. Den deler samme værdiområde fra -2,0 til 2,0, med 0 som standard.
# Frequency penalty: reduces repetition of frequent words
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Write a 300-word article on artificial intelligence."}
],
frequency_penalty=0.5
)
Dens sweet spot er lange tekster, hvor modellen har tendens til at gentage de samme ord eller strukturer. En artikel på 300 ord om kunstig intelligens risikerer uden straf at hamre „AI” og „teknologi” ind i hver eneste sætning; frequency penalty tvinger gradvist modellen til at variere sit sprog.
Forskellen mellem de to straffe
For at forstå nuancen kan vi se på et numerisk eksempel. Modellen har allerede genereret ordet „innovation” 5 gange i sit svar. Med en presence penalty på 0,5 modtager „innovation” en straf på 0,5 – fast og uændret, uanset de 5 forekomster. Med en frequency penalty på 0,5 modtager det samme ord en straf på 2,5, dvs. 0,5 ganget med de 5 forekomster. Frequency penalty er derfor langt mere aggressiv over for tokens, der vender ofte tilbage, mens presence penalty udøver et blidt, ensartet pres på alt, der allerede er sagt.
Hvornår skal du bruge hvilken straf?
Brug presence penalty, når målet er tematisk mangfoldighed. I en brainstorming vil du have ti virkelig forskellige idéer, ikke ti omskrivninger af den første:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List 10 digital marketing trends for 2026."}
],
presence_penalty=0.8,
temperature=0.7
)
Brug frequency penalty, når målet er tekstuel flydende. På en lang guide forhindrer den, at sproglige vaner sætter sig, uden at forvrænge budskabet:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Write a comprehensive guide on agile project management."}
],
frequency_penalty=0.4,
temperature=0.5
)
Intet hindrer dig i at kombinere begge dele for en kumulativ effekt – et kreativt nyhedsbrev drager for eksempel fordel af både varieret ordforråd og en tekst uden gentagelser:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Write a creative newsletter on tech trends."}
],
presence_penalty=0.3,
frequency_penalty=0.5,
temperature=0.6
)
Pas på ekstreme værdier
Disse straffe er ikke knopper, du skal skrue helt i bund: Værdier, der er for høje, forringer kvaliteten i stedet for at forbedre den. Over 1,0 for presence penalty begynder modellen at undgå almindelige ord, der faktisk er nødvendige – artikler, præpositioner – og teksten bliver underlig. Over 1,0 for frequency penalty tvinger den upassende synonymer frem blot for at undgå gentagelse: „bil” bliver til „automobil”, derefter „køretøj”, og så „motoriseret køretøj” i samme afsnit. Negative værdier opfordrer til gentagelse, hvilket sjældent er ønskeligt. Den praktiske anbefaling er at holde sig i intervallet 0,0 til 0,8 for begge parametre; ud over dette opvejer bivirkningerne fordelene.
Her er en guide baseret på opgaven: Ekstraktion og klassificering sker uden nogen straf (presence_penalty=0, frequency_penalty=0, nøjagtighed kommer først); kort skrivning under 200 ord klarer sig med frequency_penalty=0,2; lang skrivning over 500 ord har gavn af at kombinere presence_penalty=0,3 og frequency_penalty=0,5; brainstorming vender dominansen med presence_penalty=0,6 og frequency_penalty=0,3; og en liste over unikke punkter går op til presence_penalty=0,8 med frequency_penalty=0,2.
Vigtige pointer
- Presence penalty opfordrer til brug af nye ord (fast straf)
- Frequency penalty modvirker gentagelse af hyppige ord (kumulativ straf)
- Begge parametre spænder fra -2,0 til 2,0, med 0 som standard
- Hold dig i intervallet 0,0 til 0,8 for at undgå uønskede effekter
- Brug presence penalty til tematisk mangfoldighed, frequency penalty til tekstuel flydende