API za moderaciju tvrtke Mistral
Na ovoj stranici
Ažurirano 3. studenoga 2026. Primjer odgovora prethodno je sadržavao nepostojeće ključeve (
hate,violence,unpredictable); sada odražava jedanaest kategorija iz modelamistral-moderation-2603. Konačni pipeline prethodno je koristio izmišljeni format zaštitne ograde (enabled) i detektirao blokove traženjem “403” u poruci o pogrešci: sada slijedi službeni format i provjeravae.status_code. Predstavljanje modela pridržava se njegovog službenog tehničkog lista, a lekcija uvodi Shieldstral 1.0, model za moderaciju koji je u javnoj probi od kolovoza 2026. Kod verificiran prema vrstama SDK-amistralaiverzije 3.7.0. Izvori: Moderation & Guardrailing · Mistral Moderation 2 · Shieldstral 1.0.
Klasificiraj sadržaj nakon generiranja
Zaštitne ograde filtriraju ulazne upite. Ali što je sa sadržajem koji model generira? Nevin upit može proizvesti problematičan odgovor: pitanje učenika osnovne škole o Drugom svjetskom ratu može rezultirati opisom koji ne želiš prikazati bez upozorenja. To je uloga API-ja za moderaciju: analizirati sadržaj naknadno i dodijeliti ocjene rizika po kategorijama.
API za moderaciju tvoja je druga linija obrane—nadopunjuje zaštitne ograde kako bi stvorio potpunu sigurnosnu arhitekturu, s jednom velikom razlikom: sam po sebi ništa ne blokira; on te samo informira.
Model Mistral Moderation 2
Namjenski model za moderaciju zove se mistral-moderation-2603 (Mistral Moderation 2, verzija iz ožujka 2026.). To je specijalizirani klasifikator, različit od modela za generiranje: ne piše tekst, već dodjeljuje ocjene. Njegov službeni tehnički list ističe kontekstni prozor od 128.000 tokena, detekciju probijanja zaštite (jailbreak) i snažne performanse na složenom višejezičnom sadržaju, uključujući duge razgovore. Zamijenio je mistral-moderation-2411, koji je stavljen izvan upotrebe 31. ožujka 2026.
Ocjenjuje svaki tekst kroz 11 kategorija, s ocjenom od 0.0 do 1.0 po kategoriji. Prihvaća dva načina unosa: običan tekst ili konverzacijski, a odabir između njih utječe na kvalitetu rezultata više nego što bi mogao očekivati.
Drugi model za moderaciju postoji od 4. kolovoza 2026. u javnoj probi: Shieldstral 1.0. Radi drugačije: kompaktan je (3,8 milijardi parametara) i multimodalan, klasificira tekst i slike na temelju pitanja o politici formuliranih u prirodnom jeziku, odgovarajući s da ili ne. Njegove težine objavljene su pod licencom Apache 2.0, što omogućuje samostalno hostiranje. Dok god ostane u probi, mistral-moderation-2603 ostaje produkcijski model i on se koristi za zaštitne ograde.
Krajnja točka /v1/moderations
Način običnog teksta najjednostavniji je: šalješ jedan ili više tekstova na klasifikaciju, bez dodatnog konteksta.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Moderiraj jednostavan tekst
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=["Text to analyze for moderation"]
)
# Pristupi rezultatima
for result in response.results:
print(f"Categories: {result.categories}")
print(f"Scores: {result.category_scores}")
Za moderiranje potpunih razmjena, upita i odgovora zajedno, konverzacijski način daje klasifikatoru ono što mu je nedostajalo: nit rasprave.
# Moderiraj potpuni razgovor
response = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
[
{"role": "user", "content": "How do I treat a headache?"},
{"role": "assistant", "content": "Take 1g of paracetamol..."}
]
]
)
# Klasifikator procjenjuje cijeli kontekst
for result in response.results:
print(f"Health score: {(result.category_scores or {}).get('health', 0)}")
Konverzacijski način, koji poziva krajnju točku /v1/chat/moderations, ono je što Mistral preporučuje za razmjenu: model je obučen klasificirati posljednji korak razgovora u svjetlu prethodnih. Da bi moderirao odgovor svog asistenta, stavi ga na zadnje mjesto. Popis popisa u primjeru omogućuje slanje više razgovora odjednom; za jedan razgovor dovoljan je jednostavan popis poruka. Isti tekst tako može dobiti različitu ocjenu ovisno o tome odgovara li na legitiman ili zlonamjeran upit—doziranje navedeno kao odgovor na zahtjev za informacijama nema isti status kao ista doza ubačena u razmjenu o rizičnom samoliječenju.
Struktura odgovora
Za svaki analizirani tekst odgovor sadrži dva paralelna bloka: categories, booleane vrijednosti izračunate s pragovima koje je postavio Mistral na temelju svog internog testnog skupa, i category_scores, sirove ocjene od 0.0 do 1.0. Primjer u nastavku je ilustrativan, sa zaobljenim vrijednostima; neki primjeri u dokumentaciji i dalje prikazuju devet kategorija starog modela, gdje je dangerous_and_criminal_content kombinirao dangerous i criminal. Koristit ćeš potonje jer ti omogućuju postavljanje vlastitih granica.
{
"id": "mod-abc123",
"model": "mistral-moderation-2603",
"results": [
{
"categories": {
"sexual": false,
"hate_and_discrimination": false,
"violence_and_threats": false,
"dangerous": false,
"criminal": false,
"selfharm": false,
"health": true,
"financial": false,
"law": false,
"pii": false,
"jailbreaking": false
},
"category_scores": {
"sexual": 0.01,
"hate_and_discrimination": 0.02,
"violence_and_threats": 0.03,
"dangerous": 0.02,
"criminal": 0.01,
"selfharm": 0.01,
"health": 0.72,
"financial": 0.05,
"law": 0.08,
"pii": 0.02,
"jailbreaking": 0.01
}
}
]
}
U ovom primjeru, samo je health označen kao true, s 0.72. Asistent usmjeren na potrošače ovo bi vidio kao signal za blokiranje; alat namijenjen ljekarnicima propustio bi ga bez oklijevanja. Ista ocjena, dvije suprotne odluke, i upravo zato radiš s ocjenama, a ne s booleanima.
Moderiraj više tekstova u seriji
API prihvaća više tekstova u jednom zahtjevu, što mijenja sve za serijsku obradu: retroaktivna analiza povijesti razgovora ili baze komentara postaje razumna operacija u smislu broja poziva.
# Moderiraj više tekstova u jednom zahtjevu
texts = [
"First text to analyze",
"Second text to analyze",
"Third text to analyze"
]
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=texts
)
# Svaki tekst ima svoj vlastiti rezultat
for i, result in enumerate(response.results):
scores = result.category_scores or {}
max_cat = max(scores, key=lambda c: scores[c])
max_score = scores[max_cat]
print(f"Text {i+1}: max score = {max_score:.2f} ({max_cat})")
Zaštitne ograde naspram API-ja za moderaciju: kada što koristiti
| Aspekt | Prilagođene zaštitne ograde | API za moderaciju |
|---|---|---|
| Vrijeme | PRIJE generiranja | NAKON generiranja |
| Radnja | Automatski blokira (403) | Vraća ocjene (ti odlučuješ) |
| Kontrola | Tvoji pragovi po kategoriji, koje primjenjuje Mistral | Sirove ocjene, slobodna logika |
| Poziv | Parametar zahtjeva za generiranje | Odvojeni poziv na /v1/moderations |
| Slučaj upotrebe | Filtriranje opasnih upita | Klasificiranje odgovora |
Primjer: potpuni pipeline
Pipeline u nastavku prikazuje slijed ova dva mehanizma. Generiranje je zaštićeno zaštitnom ogradom usmjerenom na probijanje zaštite (jailbreaking); odgovor se zatim klasificira zajedno s pitanjem koje ga je proizvelo, a prilagođena odluka stupa na snagu čim ocjena prijeđe 0.5. Imaj na umu da dva koraka vraćaju različite statuse—blocked_input i blocked_output—tako da tvoji zapisi jasno govore gdje je zahtjev zaustavljen.
from mistralai.client import errors
from mistralai.client.models import GuardrailConfigTypedDict
GUARDRAIL_JAILBREAK: list[GuardrailConfigTypedDict] = [
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": {"jailbreaking": 0.1},
"action": "block",
},
}
]
def secure_pipeline(user_message: str) -> dict:
"""Pipeline sa zaštitnim ogradama (ulaz) i moderacijom (izlaz)."""
# Korak 1: generiraj sa zaštitnim ogradama
try:
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": user_message}],
guardrails=GUARDRAIL_JAILBREAK,
)
except errors.SDKError as e:
if e.status_code == 403:
return {"status": "blocked_input", "content": None}
raise
generated = response.choices[0].message.content
if not isinstance(generated, str):
return {"status": "error", "content": None}
# Korak 2: moderiraj izlaz, u kontekstu pitanja
moderation = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
{"role": "user", "content": user_message},
{"role": "assistant", "content": generated},
],
)
scores = moderation.results[0].category_scores or {}
if max(scores.values(), default=0.0) > 0.5:
return {"status": "blocked_output", "scores": scores}
return {"status": "ok", "content": generated, "scores": scores}
Ključne točke
- API za moderaciju koristi model
mistral-moderation-2603za klasifikaciju sadržaja - Dostupna su dva načina: običan tekst i konverzacijski
- Ocjene se kreću od 0.0 do 1.0—ti definiraš vlastite pragove za odlučivanje
- Konverzacijski način je precizniji jer uzima u obzir kontekst
- Kombiniraj zaštitne ograde (ulaz) + moderaciju (izlaz) za dubinsku obranu