Spring til hovedindhold
Dansk— Vælg et sprog
Menu

De 11 moderationskategorier

Lektion 6 af 12 Opdateret 3. november 2026 Udvikler
På denne side
  1. Forståelse af risikokategorier
  2. „Hårde” kontra „bløde” kategorier
  3. Analyse af scorer i Python
  4. Flere kategorier: Én tekst kan udløse flere advarsler
  5. Vigtige pointer

Opdateret 3. november 2026. Kategori-tabellen listede tidligere tre ikke-eksisterende nøgler (hate, violence, unpredictable) og udelod dangerous. De elleve nøgler nedenfor afspejler mistral-moderation-2603, baseret på dokumentationen og typerne fra mistralai SDK 3.7.0; beskrivelserne følger Mistrals definitioner. Output-værdier præsenteret som målte data var illustrative eksempler og er nu tydeligt mærket som sådan. Kilder: Moderation & Guardrailing · Mistral Moderation 2411 (forældet model).

Forståelse af risikokategorier

Mistral Moderation-modellen analyserer indhold på tværs af 11 distinkte kategorier. Hver kategori dækker en specifik risikotype og returnerer en uafhængig score mellem 0,0 og 1,0. Det er afgørende at forstå præcis, hvad hver kategori registrerer, for at kunne fastsætte meningsfulde tærskelværdier. Uden denne klarhed gætter du blot på tal og undrer dig over, hvorfor indhold bliver blokeret uventet.

Tabellen nedenfor viser den nøjagtige API-nøgle for hver kategori, hvad den dækker, og hvilke typer tilfælde den fanger i praksis.

KategoriAPI-nøgleHvad Mistral inkluderer
Seksuelt indholdsexualEksplicit beskrevet eller promoveret seksuel aktivitet, nøgenhed eller seksuelle ydelser; ikke-eksplicit edukativt eller medicinsk indhold er generelt undtaget
Had og diskriminationhate_and_discriminationFordomme, fjendtlighed eller opfordring til diskrimination baseret på beskyttede egenskaber, herunder chikane
Vold og truslerviolence_and_threatsBeskrevet, glorificeret, anstiftet eller truet fysisk vold samt instrukser i at begå den
Farligt indholddangerousEkstremt farlige adfærdsmønstre med høj risiko for fysisk skade
Kriminel aktivitetcriminalBeskrevet eller promoveret ulovlig aktivitet
SelvskadeselfharmSelvskade, selvmord, spiseforstyrrelser: metoder, glorificering, hensigt, farlige udfordringer
SundhedhealthAnmodninger om eller levering af detaljeret eller personlig medicinsk rådgivning
FinansfinancialAnmodninger om eller levering af detaljeret eller personlig finansiel rådgivning
JuralawAnmodninger om eller levering af detaljeret eller personlig juridisk rådgivning
Personlige datapiiAnmodninger, deling eller forsøg på at opnå identificerende data: fuldt navn, adresse, telefonnummer, CPR-nummer, bankoplysninger
JailbreakjailbreakingForsøg på at omgå modelregler via prompt-manipulation, rollespil eller andre teknikker

Kategorierne dangerous, criminal og jailbreaking kom med mistral-moderation-2603. Den tidligere model, mistral-moderation-2411, som blev udfaset den 31. marts 2026, kombinerede de to første under en enkelt nøgle, dangerous_and_criminal_content, og registrerede ikke jailbreaks. Nogle svar-eksempler i dokumentationen viser stadig denne ældre opdeling: læs altid de nøgler, API’en returnerer, i stedet for at antage dem.

„Hårde” kontra „bløde” kategorier

I praksis falder disse 11 kategorier i to grupper baseret på kritikalitet, og denne sondring driver hele din tærskelstrategi.

Hårde kategorier — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal og selfharm — repræsenterer alvorlige risici, hvor en falsk negativ (undladelse af at registrere farligt indhold) kan få alvorlige konsekvenser. Seksuelt indhold indebærer juridisk risiko og forpligtelser til at beskytte mindreårige; hadefulde ytringer udsætter dig for stort omdømmemæssigt tab og juridisk ansvar; vold involverer anstiftelse og trusler; kategorierne for farligt og kriminelt indhold dækker højrisikoadfærd og ulovlige aktiviteter; selvskade involverer brugersikkerhed og livstruende situationer. For disse seks kategorier er lave tærskler på 0,1 til 0,2 berettigede uanset dit produkt, og du accepterer bevidst nogle falske positiver.

Bløde kategorier afhænger i høj grad af din applikations kontekst, med justerbare tærskler mellem 0,3 og 0,8. En legitim medicinsk chatbot skal kunne diskutere health, en fintech-app kræver samtaler dækket af financial, en juridisk assistent håndterer nødvendigvis law, og nogle applikationer indsamler lovligt data, der falder ind under pii. Ét tilfælde læses anderledes: jailbreaking afhænger ikke af emnet, men af hensigten om at manipulere modellen, og forbliver kritisk for enhver applikation, der er åben for offentligheden.

Analyse af scorer i Python

Følgende funktion transformerer et rå API-kald til en læsbar dom: den isolerer kategorier, der overstiger 0,3, identificerer den maksimale score og dens kategori, og returnerer en safe-indikator, du kan bruge direkte i din applikationslogik.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def analyze_content(text: str) -> dict:
    """Analyser tekst og returner risikokategorier."""
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )

    scores = response.results[0].category_scores or {}

    # Adskil risikokategorier
    risks = {}
    for category, score in scores.items():
        if score > 0.3:
            risks[category] = round(score, 3)

    return {
        "text": text[:100],
        "risks": risks,
        "max_score": max(scores.values(), default=0.0),
        "max_category": max(scores, key=lambda c: scores[c], default=None),
        "safe": len(risks) == 0
    }

print(analyze_content("Hej, hvordan har du det?"))
print(analyze_content("Hvilken dosis paracetamol til et barn på 20 kg?"))

category_scores er valgfri i SDK’et, heraf or {}. Kør begge eksempler på din konto: hilsenen bør forblive meget lav på tværs af hele linjen, mens doseringsspørgsmålet bør spike på health. Dette er ikke „farligt” indhold i almindelig forstand – det er indhold, du selv skal beslutte, om falder inden for dit anvendelsesområde.

Flere kategorier: Én tekst kan udløse flere advarsler

En enkelt tekst kan have høje scorer i flere kategorier samtidig – en anmodning om hjælp til skattesvig vil ramme criminal, financial og law på én gang. Din beslutningslogik skal tage højde for denne mangfoldighed, og frem for alt prioritere: funktionen nedenfor sorterer overtrædelser efter størrelsen af tærskeloverskridelsen og fortæller dig, hvilken kategori faktisk drev blokeringen.

def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
    """Evaluér global risiko under hensyntagen til alle kategorier."""
    violations = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)
        if score > threshold:
            violations.append({
                "category": category,
                "score": score,
                "threshold": threshold,
                "excess": round(score - threshold, 3)
            })

    return {
        "blocked": len(violations) > 0,
        "violations": sorted(violations,
                            key=lambda v: v["excess"],
                            reverse=True),
        "violation_count": len(violations)
    }

# Konfiguration efter profil
strict_thresholds = {
    "sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
    "dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
    "health": 0.3, "financial": 0.3, "law": 0.3,
    "pii": 0.15, "jailbreaking": 0.1,
}

Profilen strict_thresholds følger nøjagtigt logikken for hårde/bløde kategorier skitseret ovenfor: tærskler på 0,1 til 0,15 på de seks kritiske kategorier og jailbreak, tolerance på 0,3 for kontekstuelle domæner. Behold denne struktur som dit udgangspunkt, og dokumentér eventuelle afvigelser, du introducerer.

Vigtige pointer

  • mistral-moderation-2603 analyserer indhold på tværs af 11 kategorier med faste nøgler; hate, violence eller unpredictable eksisterer ikke
  • Hver kategori returnerer en score fra 0,0 til 1,0
  • „Hårde” kategorier (sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal, selfharm) kræver lave tærskler
  • „Bløde” kategorier (sundhed, finans, jura) justeres baseret på din applikationskontekst
  • En enkelt tekst kan udløse flere kategorier samtidig
  • Brug rå scorer (category_scores) i stedet for standard booleanske værdier