De 11 moderationskategorier
På denne side
Opdateret 3. november 2026. Kategori-tabellen listede tidligere tre ikke-eksisterende nøgler (
hate,violence,unpredictable) og udeloddangerous. De elleve nøgler nedenfor afspejlermistral-moderation-2603, baseret på dokumentationen og typerne framistralaiSDK 3.7.0; beskrivelserne følger Mistrals definitioner. Output-værdier præsenteret som målte data var illustrative eksempler og er nu tydeligt mærket som sådan. Kilder: Moderation & Guardrailing · Mistral Moderation 2411 (forældet model).
Forståelse af risikokategorier
Mistral Moderation-modellen analyserer indhold på tværs af 11 distinkte kategorier. Hver kategori dækker en specifik risikotype og returnerer en uafhængig score mellem 0,0 og 1,0. Det er afgørende at forstå præcis, hvad hver kategori registrerer, for at kunne fastsætte meningsfulde tærskelværdier. Uden denne klarhed gætter du blot på tal og undrer dig over, hvorfor indhold bliver blokeret uventet.
Tabellen nedenfor viser den nøjagtige API-nøgle for hver kategori, hvad den dækker, og hvilke typer tilfælde den fanger i praksis.
| Kategori | API-nøgle | Hvad Mistral inkluderer |
|---|---|---|
| Seksuelt indhold | sexual | Eksplicit beskrevet eller promoveret seksuel aktivitet, nøgenhed eller seksuelle ydelser; ikke-eksplicit edukativt eller medicinsk indhold er generelt undtaget |
| Had og diskrimination | hate_and_discrimination | Fordomme, fjendtlighed eller opfordring til diskrimination baseret på beskyttede egenskaber, herunder chikane |
| Vold og trusler | violence_and_threats | Beskrevet, glorificeret, anstiftet eller truet fysisk vold samt instrukser i at begå den |
| Farligt indhold | dangerous | Ekstremt farlige adfærdsmønstre med høj risiko for fysisk skade |
| Kriminel aktivitet | criminal | Beskrevet eller promoveret ulovlig aktivitet |
| Selvskade | selfharm | Selvskade, selvmord, spiseforstyrrelser: metoder, glorificering, hensigt, farlige udfordringer |
| Sundhed | health | Anmodninger om eller levering af detaljeret eller personlig medicinsk rådgivning |
| Finans | financial | Anmodninger om eller levering af detaljeret eller personlig finansiel rådgivning |
| Jura | law | Anmodninger om eller levering af detaljeret eller personlig juridisk rådgivning |
| Personlige data | pii | Anmodninger, deling eller forsøg på at opnå identificerende data: fuldt navn, adresse, telefonnummer, CPR-nummer, bankoplysninger |
| Jailbreak | jailbreaking | Forsøg på at omgå modelregler via prompt-manipulation, rollespil eller andre teknikker |
Kategorierne dangerous, criminal og jailbreaking kom med mistral-moderation-2603. Den tidligere model, mistral-moderation-2411, som blev udfaset den 31. marts 2026, kombinerede de to første under en enkelt nøgle, dangerous_and_criminal_content, og registrerede ikke jailbreaks. Nogle svar-eksempler i dokumentationen viser stadig denne ældre opdeling: læs altid de nøgler, API’en returnerer, i stedet for at antage dem.
„Hårde” kontra „bløde” kategorier
I praksis falder disse 11 kategorier i to grupper baseret på kritikalitet, og denne sondring driver hele din tærskelstrategi.
Hårde kategorier — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal og selfharm — repræsenterer alvorlige risici, hvor en falsk negativ (undladelse af at registrere farligt indhold) kan få alvorlige konsekvenser. Seksuelt indhold indebærer juridisk risiko og forpligtelser til at beskytte mindreårige; hadefulde ytringer udsætter dig for stort omdømmemæssigt tab og juridisk ansvar; vold involverer anstiftelse og trusler; kategorierne for farligt og kriminelt indhold dækker højrisikoadfærd og ulovlige aktiviteter; selvskade involverer brugersikkerhed og livstruende situationer. For disse seks kategorier er lave tærskler på 0,1 til 0,2 berettigede uanset dit produkt, og du accepterer bevidst nogle falske positiver.
Bløde kategorier afhænger i høj grad af din applikations kontekst, med justerbare tærskler mellem 0,3 og 0,8. En legitim medicinsk chatbot skal kunne diskutere health, en fintech-app kræver samtaler dækket af financial, en juridisk assistent håndterer nødvendigvis law, og nogle applikationer indsamler lovligt data, der falder ind under pii. Ét tilfælde læses anderledes: jailbreaking afhænger ikke af emnet, men af hensigten om at manipulere modellen, og forbliver kritisk for enhver applikation, der er åben for offentligheden.
Analyse af scorer i Python
Følgende funktion transformerer et rå API-kald til en læsbar dom: den isolerer kategorier, der overstiger 0,3, identificerer den maksimale score og dens kategori, og returnerer en safe-indikator, du kan bruge direkte i din applikationslogik.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def analyze_content(text: str) -> dict:
"""Analyser tekst og returner risikokategorier."""
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Adskil risikokategorier
risks = {}
for category, score in scores.items():
if score > 0.3:
risks[category] = round(score, 3)
return {
"text": text[:100],
"risks": risks,
"max_score": max(scores.values(), default=0.0),
"max_category": max(scores, key=lambda c: scores[c], default=None),
"safe": len(risks) == 0
}
print(analyze_content("Hej, hvordan har du det?"))
print(analyze_content("Hvilken dosis paracetamol til et barn på 20 kg?"))
category_scores er valgfri i SDK’et, heraf or {}. Kør begge eksempler på din konto: hilsenen bør forblive meget lav på tværs af hele linjen, mens doseringsspørgsmålet bør spike på health. Dette er ikke „farligt” indhold i almindelig forstand – det er indhold, du selv skal beslutte, om falder inden for dit anvendelsesområde.
Flere kategorier: Én tekst kan udløse flere advarsler
En enkelt tekst kan have høje scorer i flere kategorier samtidig – en anmodning om hjælp til skattesvig vil ramme criminal, financial og law på én gang. Din beslutningslogik skal tage højde for denne mangfoldighed, og frem for alt prioritere: funktionen nedenfor sorterer overtrædelser efter størrelsen af tærskeloverskridelsen og fortæller dig, hvilken kategori faktisk drev blokeringen.
def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
"""Evaluér global risiko under hensyntagen til alle kategorier."""
violations = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
violations.append({
"category": category,
"score": score,
"threshold": threshold,
"excess": round(score - threshold, 3)
})
return {
"blocked": len(violations) > 0,
"violations": sorted(violations,
key=lambda v: v["excess"],
reverse=True),
"violation_count": len(violations)
}
# Konfiguration efter profil
strict_thresholds = {
"sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
"dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
"health": 0.3, "financial": 0.3, "law": 0.3,
"pii": 0.15, "jailbreaking": 0.1,
}
Profilen strict_thresholds følger nøjagtigt logikken for hårde/bløde kategorier skitseret ovenfor: tærskler på 0,1 til 0,15 på de seks kritiske kategorier og jailbreak, tolerance på 0,3 for kontekstuelle domæner. Behold denne struktur som dit udgangspunkt, og dokumentér eventuelle afvigelser, du introducerer.
Vigtige pointer
mistral-moderation-2603analyserer indhold på tværs af 11 kategorier med faste nøgler;hate,violenceellerunpredictableeksisterer ikke- Hver kategori returnerer en score fra 0,0 til 1,0
- „Hårde” kategorier (
sexual,hate_and_discrimination,violence_and_threats,dangerous,criminal,selfharm) kræver lave tærskler - „Bløde” kategorier (sundhed, finans, jura) justeres baseret på din applikationskontekst
- En enkelt tekst kan udløse flere kategorier samtidig
- Brug rå scorer (
category_scores) i stedet for standard booleanske værdier