Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

De 11 modereringskategorierna

Lektion 6 av 12 Uppdaterad 3 november 2026 Utvecklare
På denna sida
  1. Förstå riskkategorier
  2. ”Hårda” kontra “mjuka” kategorier
  3. Analysera poäng i Python
  4. Flera kategorier: En text kan utlösa flera varningar
  5. Viktiga punkter

Uppdaterad 3 november 2026. Kategori-tabellen listade tidigare tre nycklar som inte finns (hate, violence, unpredictable) och utelämnade dangerous. De elva nycklarna nedan speglar mistral-moderation-2603, baserat på dokumentationen och typerna från mistralai SDK 3.7.0; beskrivningarna följer Mistrals definitioner. Utmatningsvärden som presenterades som uppmätta data var illustrativa exempel och är nu tydligt märkta som sådana. Källor: Moderation & Guardrailing · Mistral Moderation 2411 (föråldrad modell).

Förstå riskkategorier

Mistral Moderation-modellen analyserar innehåll över 11 distinkta kategorier. Varje kategori täcker en specifik risktyp och returnerar en oberoende poäng mellan 0,0 och 1,0. Det är avgörande att förstå exakt vad varje kategori detekterar för att kunna sätta meningsfulla tröskelvärden. Utan denna tydlighet gissar du bara på siffror och undrar varför innehåll blockeras oväntat.

Tabellen nedan ger den exakta API-nyckeln för varje kategori, vad den omfattar och vilka typer av fall den fångar i praktiken.

KategoriAPI-nyckelVad Mistral inkluderar
Sexuellt innehållsexualExplicit beskriven eller främjad sexuell aktivitet, nakenhet eller sexuella tjänster; icke-explicit utbildnings- eller medicinskt innehåll är generellt undantaget
Hat och diskrimineringhate_and_discriminationFördomar, fientlighet eller uppmaningar till diskriminering baserat på skyddade egenskaper, inklusive trakasserier
Våld och hotviolence_and_threatsBeskrivet, förhärligat, anstiftat eller hotat fysiskt våld, samt instruktioner för att begå det
Farligt innehålldangerousExtremt farliga beteenden med hög risk för fysisk skada
Brottslig verksamhetcriminalBeskriven eller främjad olaglig verksamhet
SjälvskadaselfharmSjälvskada, självmord, ätstörningar: metoder, förhärligande, uppsåt, farliga utmaningar
HälsahealthFörfrågningar om eller tillhandahållande av detaljerad eller personlig medicinsk rådgivning
FinansfinancialFörfrågningar om eller tillhandahållande av detaljerad eller personlig finansiell rådgivning
JuridiklawFörfrågningar om eller tillhandahållande av detaljerad eller personlig juridisk rådgivning
PersonuppgifterpiiFörfrågningar, delning eller försök att erhålla identifierande data: fullständigt namn, adress, telefonnummer, personnummer, bankuppgifter
JailbreakjailbreakingFörsök att kringgå modellregler genom prompt-manipulation, rollspel eller andra tekniker

Kategorierna dangerous, criminal och jailbreaking introducerades med mistral-moderation-2603. Den tidigare modellen, mistral-moderation-2411, som avvecklades den 31 mars 2026, slog ihop de två första under en enda nyckel, dangerous_and_criminal_content, och detekterade inte jailbreaks. Vissa svars-exempel i dokumentationen visar fortfarande denna äldre uppdelning: läs alltid de nycklar som API:t returnerar istället för att anta dem.

”Hårda” kontra “mjuka” kategorier

I praktiken faller dessa 11 kategorier in i två grupper baserat på kritikalitet, och denna åtskillnad styr hela din tröskelvärdesstrategi.

Hårda kategorier — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal och selfharm — representerar allvarliga risker där ett falskt negativt resultat (att missa att detektera farligt innehåll) kan få svåra konsekvenser. Sexuellt innehåll medför juridisk risk och skyldigheter att skydda minderåriga; hatiskt tal utsätter dig för stora ryktesskador och juridiskt ansvar; våld innebär anstiftan och hot; kategorierna för farligt och brottsligt innehåll täcker högriskbeteenden och olagliga aktiviteter; självskada rör användarsäkerhet och livshotande situationer. För dessa sex kategorier är låga tröskelvärden på 0,1 till 0,2 berättigade oavsett din produkt, och du accepterar medvetet vissa falska positiva utfall.

Mjuka kategorier beror starkt på din applikations kontext, med justerbara tröskelvärden mellan 0,3 och 0,8. En legitim medicinsk chattbot behöver diskutera health, en fintech-app kräver konversationer som omfattas av financial, en juridisk assistent hanterar nödvändigtvis law, och vissa applikationer samlar lagligt in data som faller under pii. Ett fall läses annorlunda: jailbreaking beror inte på ämnet utan på avsikten att manipulera modellen, och förblir kritiskt för varje applikation som är öppen för allmänheten.

Analysera poäng i Python

Följande funktion omvandlar ett rått API-anrop till ett läsbart utlåtande: den isolerar kategorier som överstiger 0,3, identifierar den högsta poängen och dess kategori, och returnerar en safe-indikator som du kan använda direkt i din applikationslogik.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def analyze_content(text: str) -> dict:
    """Analysera text och returnera riskkategorier."""
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )

    scores = response.results[0].category_scores or {}

    # Separera riskkategorier
    risks = {}
    for category, score in scores.items():
        if score > 0.3:
            risks[category] = round(score, 3)

    return {
        "text": text[:100],
        "risks": risks,
        "max_score": max(scores.values(), default=0.0),
        "max_category": max(scores, key=lambda c: scores[c], default=None),
        "safe": len(risks) == 0
    }

print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))

category_scores är valfritt i SDK:t, därav or {}. Kör båda exemplen på ditt konto: hälsningen bör hålla sig mycket låg överallt, medan doseringsfrågan bör spika på health. Detta är inte “farligt” innehåll i vanlig mening – det är innehåll du måste besluta om faller inom ditt ansvarsområde.

Flera kategorier: En text kan utlösa flera varningar

En enda text kan ha höga poäng i flera kategorier samtidigt – en begäran om hjälp med skattebedrägeri kommer att träffa criminal, financial och law på en gång. Din beslutslogik måste ta hänsyn till denna mångfald, och framför allt prioritera: funktionen nedan sorterar överträdelser efter storleken på tröskelöverskridandet och berättar vilken kategori som faktiskt drev blockeringen.

def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
    """Utvärdera global risk med hänsyn till alla kategorier."""
    violations = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)
        if score > threshold:
            violations.append({
                "category": category,
                "score": score,
                "threshold": threshold,
                "excess": round(score - threshold, 3)
            })

    return {
        "blocked": len(violations) > 0,
        "violations": sorted(violations,
                            key=lambda v: v["excess"],
                            reverse=True),
        "violation_count": len(violations)
    }

# Konfiguration per profil
strict_thresholds = {
    "sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
    "dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
    "health": 0.3, "financial": 0.3, "law": 0.3,
    "pii": 0.15, "jailbreaking": 0.1,
}

Profilen strict_thresholds följer exakt logiken för hårda/mjuka kategorier som beskrivits ovan: tröskelvärden på 0,1 till 0,15 för de sex kritiska kategorierna och jailbreak, samt tolerans på 0,3 för kontextuella domäner. Behåll denna struktur som din utgångspunkt och dokumentera alla avvikelser du inför.

Viktiga punkter

  • mistral-moderation-2603 analyserar innehåll över 11 kategorier med fasta nycklar; hate, violence eller unpredictable finns inte
  • Varje kategori returnerar en poäng från 0,0 till 1,0
  • “Hårda” kategorier (sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal, selfharm) kräver låga tröskelvärden
  • “Mjuka” kategorier (hälsa, finans, juridik) justeras baserat på din applikationskontext
  • En enda text kan utlösa flera kategorier samtidigt
  • Använd råa poäng (category_scores) istället för standardbooleans