Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

Mistrals modererings-API

Lektion 5 av 12 Uppdaterad 3 november 2026 Utvecklare
På denna sida
  1. Klassificera innehåll efter generering
  2. Modellen Mistral Moderation 2
  3. Slutpunkten /v1/moderations
  4. Svarsstruktur
  5. Moderera flera texter i batch
  6. Guardrails kontra Modererings-API: när ska vad användas?
  7. Exempel: komplett pipeline
  8. Viktiga punkter

Uppdaterat den 3 november 2026. Exemplet på svarsformat innehöll tidigare nycklar som inte finns (hate, violence, unpredictable); det speglar nu de elva kategorierna från mistral-moderation-2603. Den tidigare slutgiltiga pipeline:n använde ett påhittat guardrail-format (enabled) och identifierade blockeringar genom att söka efter “403” i felmeddelandet: den följer nu det officiella formatet och kontrollerar e.status_code. Modellpresentationen följer dess officiella datablad, och lektionen introducerar Shieldstral 1.0, modereringsmodellen som varit i offentlig förhandsversion sedan augusti 2026. Koden är verifierad mot mistralai SDK-typversion 3.7.0. Källor: Moderering & Guardrailing · Mistral Moderation 2 · Shieldstral 1.0.

Klassificera innehåll efter generering

Guardrails filtrerar inmatningspromptar. Men vad händer med innehåll som genereras av modellen? En oskyldig prompt kan producera ett problematiskt svar: en fråga från en högstadielunge om andra världskriget kan ge en beskrivning du inte vill visa utan förbehåll. Det är Modererings-API:ts roll: att analysera innehåll i efterhand och tilldela riskpoäng per kategori.

Modererings-API:t är din andra försvarslinje – det kompletterar guardrails för att skapa en komplett säkerhetsarkitektur, med en stor skillnad: det blockerar inget på egen hand; det informerar dig.

Modellen Mistral Moderation 2

Den dedikerade modereringsmodellen heter mistral-moderation-2603 (Mistral Moderation 2, version från mars 2026). Det är en specialiserad klassificerare, skild från genereringsmodeller: den skriver inte text, den tilldelar poäng. Dess officiella datablad lyfter fram ett kontextfönster på 128 000 token, detektering av jailbreak-försök och stark prestanda på komplext flerspråkigt innehåll, inklusive långa konversationer. Den ersätter mistral-moderation-2411, som avvecklades den 31 mars 2026.

Den poängsätter varje text över 11 kategorier, med en poäng från 0,0 till 1,0 per kategori. Den accepterar två inmatningslägen, ren text eller konversationell, och valet mellan dem påverkar resultatkvaliteten mer än du kanske tror.

En andra modereringsmodell har funnits sedan den 4 augusti 2026 i offentlig förhandsversion: Shieldstral 1.0. Den fungerar annorlunda: kompakt (3,8 miljarder parametrar) och multimodal, klassificerar den text och bilder baserat på policyfrågor formulerade i naturligt språk, och svarar ja eller nej. Dess vikter publiceras under Apache 2.0-licensen, vilket möjliggör egen hosting. Så länge den är i förhandsversion förblir mistral-moderation-2603 produktionsmodellen, och det är den som används för guardrails.

Slutpunkten /v1/moderations

Läget för ren text är det enklaste: du skickar en eller flera texter att klassificera, utan ytterligare kontext.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

# Moderera enkel text
response = client.classifiers.moderate(
    model="mistral-moderation-2603",
    inputs=["Text to analyze for moderation"]
)

# Hämta resultat
for result in response.results:
    print(f"Categories: {result.categories}")
    print(f"Scores: {result.category_scores}")

För att moderera kompletta utbyten, både prompt och svar tillsammans, ger det konversationella läget klassificeraren det den saknade: tråden i diskussionen.

# Moderera en komplett konversation
response = client.classifiers.moderate_chat(
    model="mistral-moderation-2603",
    inputs=[
        [
            {"role": "user", "content": "How do I treat a headache?"},
            {"role": "assistant", "content": "Take 1g of paracetamol..."}
        ]
    ]
)

# Klassificeraren utvärderar hela kontexten
for result in response.results:
    print(f"Health score: {(result.category_scores or {}).get('health', 0)}")

Det konversationella läget, som anropar slutpunkten /v1/chat/moderations, är vad Mistral rekommenderar för ett utbyte: modellen är tränad att klassificera det sista steget i konversationen mot bakgrund av de tidigare. För att moderera din assistents svar placerar du det sist. Listan över listor i exemplet möjliggör sändning av flera konversationer på en gång; en enkel lista med meddelanden räcker för en enda. Samma text kan alltså få en annan poäng beroende på om den svarar på en legitim eller skadlig fråga – en dosering citerad som svar på en informationsförfrågan har inte samma status som samma dosering smugen in i ett utbyte om riskabel egenbehandling.

Svarsstruktur

För varje analyserad text innehåller svaret två parallella block: categories, booleska värden beräknade med tröskelvärden som satts av Mistral baserat på dess interna testuppsättning, och category_scores, de råa poängen från 0,0 till 1,0. Exemplet nedan är illustrativt, med avrundade värden; vissa dokumentationsexempel visar fortfarande de nio kategorierna från den gamla modellen, där dangerous_and_criminal_content kombinerade dangerous och criminal. Du kommer att använda de senare eftersom de låter dig sätta dina egna gränser.

{
  "id": "mod-abc123",
  "model": "mistral-moderation-2603",
  "results": [
    {
      "categories": {
        "sexual": false,
        "hate_and_discrimination": false,
        "violence_and_threats": false,
        "dangerous": false,
        "criminal": false,
        "selfharm": false,
        "health": true,
        "financial": false,
        "law": false,
        "pii": false,
        "jailbreaking": false
      },
      "category_scores": {
        "sexual": 0.01,
        "hate_and_discrimination": 0.02,
        "violence_and_threats": 0.03,
        "dangerous": 0.02,
        "criminal": 0.01,
        "selfharm": 0.01,
        "health": 0.72,
        "financial": 0.05,
        "law": 0.08,
        "pii": 0.02,
        "jailbreaking": 0.01
      }
    }
  ]
}

I detta exempel är endast health markerad som true, med 0,72. En konsumentinriktad assistent skulle se detta som en blockeringssignal; ett verktyg avsett för apotekare skulle låta det passera utan tvekan. Samma poäng, två motsatta beslut, och det är precis därför du arbetar med poäng snarare än booleska värden.

Moderera flera texter i batch

API:t accepterar flera texter i en enda begäran, vilket ändrar allt för batchbearbetning: att retroaktivt analysera en konversationshistorik eller en kommentarsdatabas blir en rimlig operation vad gäller antal anrop.

# Moderera flera texter i en enda begäran
texts = [
    "First text to analyze",
    "Second text to analyze",
    "Third text to analyze"
]

response = client.classifiers.moderate(
    model="mistral-moderation-2603",
    inputs=texts
)

# Varje text har sitt eget resultat
for i, result in enumerate(response.results):
    scores = result.category_scores or {}
    max_cat = max(scores, key=lambda c: scores[c])
    max_score = scores[max_cat]
    print(f"Text {i+1}: max score = {max_score:.2f} ({max_cat})")

Guardrails kontra Modererings-API: när ska vad användas?

AspektAnpassade GuardrailsModererings-API
TidpunktFÖRE genereringEFTER generering
ÅtgärdBlockerar automatiskt (403)Returnerar poäng (du bestämmer)
KontrollDina tröskelvärden per kategori, tillämpade av MistralRåa poäng, fri logik
AnropParameter i genereringsbegäranSeparat anrop till /v1/moderations
AnvändningsfallFiltrera farliga promptarKlassificera svar

Exempel: komplett pipeline

Pipelinen nedan visar sekvenseringen av de två mekanismerna. Genereringen skyddas av en guardrail fokuserad på jailbreaking; svaret klassificeras sedan tillsammans med frågan som producerade det, och ett anpassat beslut ingriper så snart en poäng överstiger 0,5. Observera att de två stegen returnerar distinkta statusar – blocked_input och blocked_output – så att dina loggar tydligt berättar var begäran stoppades.

from mistralai.client import errors
from mistralai.client.models import GuardrailConfigTypedDict

GUARDRAIL_JAILBREAK: list[GuardrailConfigTypedDict] = [
    {
        "block_on_error": True,
        "moderation_llm_v2": {
            "custom_category_thresholds": {"jailbreaking": 0.1},
            "action": "block",
        },
    }
]


def secure_pipeline(user_message: str) -> dict:
    """Pipeline med guardrails (inmatning) och moderering (utmatning)."""
    # Steg 1: generera med guardrails
    try:
        response = client.chat.complete(
            model="mistral-large-latest",
            messages=[{"role": "user", "content": user_message}],
            guardrails=GUARDRAIL_JAILBREAK,
        )
    except errors.SDKError as e:
        if e.status_code == 403:
            return {"status": "blocked_input", "content": None}
        raise

    generated = response.choices[0].message.content
    if not isinstance(generated, str):
        return {"status": "error", "content": None}

    # Steg 2: moderera utmatningen, i kontexten av frågan
    moderation = client.classifiers.moderate_chat(
        model="mistral-moderation-2603",
        inputs=[
            {"role": "user", "content": user_message},
            {"role": "assistant", "content": generated},
        ],
    )

    scores = moderation.results[0].category_scores or {}
    if max(scores.values(), default=0.0) > 0.5:
        return {"status": "blocked_output", "scores": scores}

    return {"status": "ok", "content": generated, "scores": scores}

Viktiga punkter

  • Modererings-API:t använder modellen mistral-moderation-2603 för att klassificera innehåll
  • Två lägen tillgängliga: ren text och konversationell
  • Poäng sträcker sig från 0,0 till 1,0 – du definierar dina egna beslutströsklar
  • Konversationellt läge är mer exakt eftersom det tar hänsyn till kontext
  • Kombinera guardrails (inmatning) + moderering (utmatning) för djupförsvar