Mistrals Moderations-API
På denne side
Opdateret 3. november 2026. Eksemplet på svaret indeholdt tidligere ikke-eksisterende nøgler (
hate,violence,unpredictable); det afspejler nu de elleve kategorier framistral-moderation-2603. Den endelige pipeline brugte tidligere et opfundet guardrail-format (enabled) og registrerede blokeringer ved at søge efter “403” i fejlmeddelelsen: den følger nu det officielle format og tjekkere.status_code. Præsentationen af modellen overholder dens officielle datablad, og lektionen introducerer Shieldstral 1.0, moderationsmodellen i offentlig prøveversion siden august 2026. Kode verificeret modmistralaiSDK-typer version 3.7.0. Kilder: Moderation & Guardrailing · Mistral Moderation 2 · Shieldstral 1.0.
Klassificér indhold efter generering
Guardrails filtrerer input-prompts. Men hvad med indhold genereret af modellen? En uskyldig prompt kan producere et problematisk svar: En folkeskoleelevs spørgsmål om 2. Verdenskrig kan udløse en beskrivelse, du ikke ønsker at vise uden forbehold. Det er Moderations-API’ens rolle: at analysere indholdet efterfølgende og tildele risikoscores pr. kategori.
Moderations-API’en er din anden forsvarslinje – den supplerer guardrails for at skabe en komplet sikkerhedsarkitektur, med én væsentlig forskel: Den blokerer ikke noget af sig selv; den informerer dig.
Mistral Moderation 2-modellen
Den dedikerede moderationsmodel hedder mistral-moderation-2603 (Mistral Moderation 2, version fra marts 2026). Det er en specialiseret klassificeringsmodel, adskilt fra genereringsmodeller: Den skriver ikke tekst, den tildeler scores. Dens officielle datablad fremhæver et kontekstvindue på 128.000 tokens, detektering af jailbreaks og stærk ydeevne på komplekst flersproget indhold, herunder lange samtaler. Den erstatter mistral-moderation-2411, som blev udfaset den 31. marts 2026.
Den scorer hver tekst på tværs af 11 kategorier med en score fra 0,0 til 1,0 pr. kategori. Den accepterer to input-tilstande, almindelig tekst eller konversationel, og valget mellem dem påvirker resultatkvaliteten mere, end du måske tror.
En anden moderationsmodel har eksisteret siden 4. august 2026 i offentlig prøveversion: Shieldstral 1.0. Den fungerer anderledes: Kompakt (3,8 milliarder parametre) og multimodal klassificerer den tekst og billeder baseret på politikspørgsmål formuleret på naturligt sprog, hvor den svarer ja eller nej. Dens vægte er offentliggjort under Apache 2.0-licensen, hvilket muliggør selvhosting. Så længe den er i prøveversion, forbliver mistral-moderation-2603 produktionsmodellen, og det er den, der bruges til guardrails.
Endepunktet /v1/moderations
Tilstanden for almindelig tekst er den enkleste: Du sender én eller flere tekster til klassificering uden yderligere kontekst.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Moderér simpel tekst
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=["Tekst der skal analyseres for moderation"]
)
# Få adgang til resultaterne
for result in response.results:
print(f"Kategorier: {result.categories}")
print(f"Scores: {result.category_scores}")
For at moderere komplette udvekslinger, både prompt og svar sammen, giver den konversationelle tilstand klassificeringsmodellen det, den manglede: tråden i diskussionen.
# Moderér en komplet samtale
response = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
[
{"role": "user", "content": "Hvordan behandler jeg hovedpine?"},
{"role": "assistant", "content": "Tag 1g paracetamol..."}
]
]
)
# Klassificeringsmodellen evaluerer hele konteksten
for result in response.results:
print(f"Sundhedsscore: {(result.category_scores or {}).get('health', 0)}")
Den konversationelle tilstand, som kalder endepunktet /v1/chat/moderations, er det, Mistral anbefaler til en udveksling: Modellen er trænet til at klassificere det sidste svar i samtalen i lyset af de tidligere. For at moderere din assistents svar skal du placere det sidst. Listen af lister i eksemplet muliggør afsendelse af flere samtaler på én gang; en simpel liste med beskeder er tilstrækkelig for en enkelt. Den samme tekst kan således modtage en anden score afhængigt af, om den svarer på et legitimt eller ondsindet spørgsmål – en dosering citeret som svar på en informationsforespørgsel har ikke samme status som den samme dosering, der sniges ind i en udveksling om risikabel selvmedicinering.
Svarstruktur
For hver analyseret tekst indeholder svaret to parallelle blokke: categories, booleske værdier beregnet med tærskler fastsat af Mistral baseret på dets interne testsæt, og category_scores, de rå scores fra 0,0 til 1,0. Eksemplet nedenfor er illustrativt med afrundede værdier; nogle dokumentationseksempler viser stadig de ni kategorier fra den gamle model, hvor dangerous_and_criminal_content kombinerede dangerous og criminal. Du vil bruge sidstnævnte, fordi de lader dig sætte dine egne grænser.
{
"id": "mod-abc123",
"model": "mistral-moderation-2603",
"results": [
{
"categories": {
"sexual": false,
"hate_and_discrimination": false,
"violence_and_threats": false,
"dangerous": false,
"criminal": false,
"selfharm": false,
"health": true,
"financial": false,
"law": false,
"pii": false,
"jailbreaking": false
},
"category_scores": {
"sexual": 0.01,
"hate_and_discrimination": 0.02,
"violence_and_threats": 0.03,
"dangerous": 0.02,
"criminal": 0.01,
"selfharm": 0.01,
"health": 0.72,
"financial": 0.05,
"law": 0.08,
"pii": 0.02,
"jailbreaking": 0.01
}
}
]
}
I dette eksempel er kun health markeret som true med 0,72. En forbrugerrettet assistent ville se dette som et signal om blokering; et værktøj beregnet til farmaceuter ville lade det passere uden tøven. Samme score, to modsatte beslutninger, og det er netop derfor, du arbejder med scores frem for booleske værdier.
Moderér flere tekster i batch
API’en accepterer flere tekster i en enkelt anmodning, hvilket ændrer alt for batch-behandling: At analysere en samtalehistorik eller en kommentardatabase retrospektivt bliver en rimelig operation med hensyn til antal kald.
# Moderér flere tekster i en enkelt anmodning
texts = [
"Første tekst der skal analyseres",
"Anden tekst der skal analyseres",
"Tredje tekst der skal analyseres"
]
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=texts
)
# Hver tekst har sit eget resultat
for i, result in enumerate(response.results):
scores = result.category_scores or {}
max_cat = max(scores, key=lambda c: scores[c])
max_score = scores[max_cat]
print(f"Tekst {i+1}: max score = {max_score:.2f} ({max_cat})")
Guardrails vs. Moderations-API: Hvornår skal hvad bruges?
| Aspekt | Brugerdefinerede Guardrails | Moderations-API |
|---|---|---|
| Tidspunkt | FØR generering | EFTER generering |
| Handling | Blokerer automatisk (403) | Returnerer scores (du beslutter) |
| Kontrol | Dine tærskler pr. kategori, anvendt af Mistral | Rå scores, fri logik |
| Kald | Parameter i genereringsanmodningen | Separat kald til /v1/moderations |
| Use case | Filtrer farlige prompts | Klassificér svar |
Eksempel: Komplet pipeline
Pipelinen nedenfor viser sekventieringen af de to mekanismer. Genereringen er beskyttet af en guardrail fokuseret på jailbreaking; svaret klassificeres derefter sammen med spørgsmålet, der producerede det, og en brugerdefineret beslutning træffes, så snart en score overstiger 0,5. Bemærk, at de to trin returnerer forskellige statusser – blocked_input og blocked_output – så dine logs tydeligt fortæller, hvor anmodningen stoppede.
from mistralai.client import errors
from mistralai.client.models import GuardrailConfigTypedDict
GUARDRAIL_JAILBREAK: list[GuardrailConfigTypedDict] = [
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": {"jailbreaking": 0.1},
"action": "block",
},
}
]
def secure_pipeline(user_message: str) -> dict:
"""Pipeline med guardrails (input) og moderation (output)."""
# Trin 1: Generér med guardrails
try:
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": user_message}],
guardrails=GUARDRAIL_JAILBREAK,
)
except errors.SDKError as e:
if e.status_code == 403:
return {"status": "blocked_input", "content": None}
raise
generated = response.choices[0].message.content
if not isinstance(generated, str):
return {"status": "error", "content": None}
# Trin 2: Moderér outputtet i konteksten af spørgsmålet
moderation = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
{"role": "user", "content": user_message},
{"role": "assistant", "content": generated},
],
)
scores = moderation.results[0].category_scores or {}
if max(scores.values(), default=0.0) > 0.5:
return {"status": "blocked_output", "scores": scores}
return {"status": "ok", "content": generated, "scores": scores}
Vigtige pointer
- Moderations-API’en bruger modellen
mistral-moderation-2603til at klassificere indhold - To tilstande tilgængelige: almindelig tekst og konversationel
- Scores spænder fra 0,0 til 1,0 – du definerer dine egne beslutningstærskler
- Konversationel tilstand er mere nøjagtig, fordi den tager højde for kontekst
- Kombiner guardrails (input) + moderation (output) for dybdeforsvar