De 11 modereringskategorierna
På denna sida
Uppdaterad 3 november 2026. Kategori-tabellen listade tidigare tre nycklar som inte finns (
hate,violence,unpredictable) och utelämnadedangerous. De elva nycklarna nedan speglarmistral-moderation-2603, baserat på dokumentationen och typerna frånmistralaiSDK 3.7.0; beskrivningarna följer Mistrals definitioner. Utmatningsvärden som presenterades som uppmätta data var illustrativa exempel och är nu tydligt märkta som sådana. Källor: Moderation & Guardrailing · Mistral Moderation 2411 (föråldrad modell).
Förstå riskkategorier
Mistral Moderation-modellen analyserar innehåll över 11 distinkta kategorier. Varje kategori täcker en specifik risktyp och returnerar en oberoende poäng mellan 0,0 och 1,0. Det är avgörande att förstå exakt vad varje kategori detekterar för att kunna sätta meningsfulla tröskelvärden. Utan denna tydlighet gissar du bara på siffror och undrar varför innehåll blockeras oväntat.
Tabellen nedan ger den exakta API-nyckeln för varje kategori, vad den omfattar och vilka typer av fall den fångar i praktiken.
| Kategori | API-nyckel | Vad Mistral inkluderar |
|---|---|---|
| Sexuellt innehåll | sexual | Explicit beskriven eller främjad sexuell aktivitet, nakenhet eller sexuella tjänster; icke-explicit utbildnings- eller medicinskt innehåll är generellt undantaget |
| Hat och diskriminering | hate_and_discrimination | Fördomar, fientlighet eller uppmaningar till diskriminering baserat på skyddade egenskaper, inklusive trakasserier |
| Våld och hot | violence_and_threats | Beskrivet, förhärligat, anstiftat eller hotat fysiskt våld, samt instruktioner för att begå det |
| Farligt innehåll | dangerous | Extremt farliga beteenden med hög risk för fysisk skada |
| Brottslig verksamhet | criminal | Beskriven eller främjad olaglig verksamhet |
| Självskada | selfharm | Självskada, självmord, ätstörningar: metoder, förhärligande, uppsåt, farliga utmaningar |
| Hälsa | health | Förfrågningar om eller tillhandahållande av detaljerad eller personlig medicinsk rådgivning |
| Finans | financial | Förfrågningar om eller tillhandahållande av detaljerad eller personlig finansiell rådgivning |
| Juridik | law | Förfrågningar om eller tillhandahållande av detaljerad eller personlig juridisk rådgivning |
| Personuppgifter | pii | Förfrågningar, delning eller försök att erhålla identifierande data: fullständigt namn, adress, telefonnummer, personnummer, bankuppgifter |
| Jailbreak | jailbreaking | Försök att kringgå modellregler genom prompt-manipulation, rollspel eller andra tekniker |
Kategorierna dangerous, criminal och jailbreaking introducerades med mistral-moderation-2603. Den tidigare modellen, mistral-moderation-2411, som avvecklades den 31 mars 2026, slog ihop de två första under en enda nyckel, dangerous_and_criminal_content, och detekterade inte jailbreaks. Vissa svars-exempel i dokumentationen visar fortfarande denna äldre uppdelning: läs alltid de nycklar som API:t returnerar istället för att anta dem.
”Hårda” kontra “mjuka” kategorier
I praktiken faller dessa 11 kategorier in i två grupper baserat på kritikalitet, och denna åtskillnad styr hela din tröskelvärdesstrategi.
Hårda kategorier — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal och selfharm — representerar allvarliga risker där ett falskt negativt resultat (att missa att detektera farligt innehåll) kan få svåra konsekvenser. Sexuellt innehåll medför juridisk risk och skyldigheter att skydda minderåriga; hatiskt tal utsätter dig för stora ryktesskador och juridiskt ansvar; våld innebär anstiftan och hot; kategorierna för farligt och brottsligt innehåll täcker högriskbeteenden och olagliga aktiviteter; självskada rör användarsäkerhet och livshotande situationer. För dessa sex kategorier är låga tröskelvärden på 0,1 till 0,2 berättigade oavsett din produkt, och du accepterar medvetet vissa falska positiva utfall.
Mjuka kategorier beror starkt på din applikations kontext, med justerbara tröskelvärden mellan 0,3 och 0,8. En legitim medicinsk chattbot behöver diskutera health, en fintech-app kräver konversationer som omfattas av financial, en juridisk assistent hanterar nödvändigtvis law, och vissa applikationer samlar lagligt in data som faller under pii. Ett fall läses annorlunda: jailbreaking beror inte på ämnet utan på avsikten att manipulera modellen, och förblir kritiskt för varje applikation som är öppen för allmänheten.
Analysera poäng i Python
Följande funktion omvandlar ett rått API-anrop till ett läsbart utlåtande: den isolerar kategorier som överstiger 0,3, identifierar den högsta poängen och dess kategori, och returnerar en safe-indikator som du kan använda direkt i din applikationslogik.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def analyze_content(text: str) -> dict:
"""Analysera text och returnera riskkategorier."""
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Separera riskkategorier
risks = {}
for category, score in scores.items():
if score > 0.3:
risks[category] = round(score, 3)
return {
"text": text[:100],
"risks": risks,
"max_score": max(scores.values(), default=0.0),
"max_category": max(scores, key=lambda c: scores[c], default=None),
"safe": len(risks) == 0
}
print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))
category_scores är valfritt i SDK:t, därav or {}. Kör båda exemplen på ditt konto: hälsningen bör hålla sig mycket låg överallt, medan doseringsfrågan bör spika på health. Detta är inte “farligt” innehåll i vanlig mening – det är innehåll du måste besluta om faller inom ditt ansvarsområde.
Flera kategorier: En text kan utlösa flera varningar
En enda text kan ha höga poäng i flera kategorier samtidigt – en begäran om hjälp med skattebedrägeri kommer att träffa criminal, financial och law på en gång. Din beslutslogik måste ta hänsyn till denna mångfald, och framför allt prioritera: funktionen nedan sorterar överträdelser efter storleken på tröskelöverskridandet och berättar vilken kategori som faktiskt drev blockeringen.
def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
"""Utvärdera global risk med hänsyn till alla kategorier."""
violations = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
violations.append({
"category": category,
"score": score,
"threshold": threshold,
"excess": round(score - threshold, 3)
})
return {
"blocked": len(violations) > 0,
"violations": sorted(violations,
key=lambda v: v["excess"],
reverse=True),
"violation_count": len(violations)
}
# Konfiguration per profil
strict_thresholds = {
"sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
"dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
"health": 0.3, "financial": 0.3, "law": 0.3,
"pii": 0.15, "jailbreaking": 0.1,
}
Profilen strict_thresholds följer exakt logiken för hårda/mjuka kategorier som beskrivits ovan: tröskelvärden på 0,1 till 0,15 för de sex kritiska kategorierna och jailbreak, samt tolerans på 0,3 för kontextuella domäner. Behåll denna struktur som din utgångspunkt och dokumentera alla avvikelser du inför.
Viktiga punkter
mistral-moderation-2603analyserar innehåll över 11 kategorier med fasta nycklar;hate,violenceellerunpredictablefinns inte- Varje kategori returnerar en poäng från 0,0 till 1,0
- “Hårda” kategorier (
sexual,hate_and_discrimination,violence_and_threats,dangerous,criminal,selfharm) kräver låga tröskelvärden - “Mjuka” kategorier (hälsa, finans, juridik) justeras baserat på din applikationskontext
- En enda text kan utlösa flera kategorier samtidigt
- Använd råa poäng (
category_scores) istället för standardbooleans