Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

API za moderaciju tvrtke Mistral

Lekcija 5 od 12 Ažurirano 3. studenoga 2026. Programer
Na ovoj stranici
  1. Klasificiraj sadržaj nakon generiranja
  2. Model Mistral Moderation 2
  3. Krajnja točka /v1/moderations
  4. Struktura odgovora
  5. Moderiraj više tekstova u seriji
  6. Zaštitne ograde naspram API-ja za moderaciju: kada što koristiti
  7. Primjer: potpuni pipeline
  8. Ključne točke

Ažurirano 3. studenoga 2026. Primjer odgovora prethodno je sadržavao nepostojeće ključeve (hate, violence, unpredictable); sada odražava jedanaest kategorija iz modela mistral-moderation-2603. Konačni pipeline prethodno je koristio izmišljeni format zaštitne ograde (enabled) i detektirao blokove traženjem “403” u poruci o pogrešci: sada slijedi službeni format i provjerava e.status_code. Predstavljanje modela pridržava se njegovog službenog tehničkog lista, a lekcija uvodi Shieldstral 1.0, model za moderaciju koji je u javnoj probi od kolovoza 2026. Kod verificiran prema vrstama SDK-a mistralai verzije 3.7.0. Izvori: Moderation & Guardrailing · Mistral Moderation 2 · Shieldstral 1.0.

Klasificiraj sadržaj nakon generiranja

Zaštitne ograde filtriraju ulazne upite. Ali što je sa sadržajem koji model generira? Nevin upit može proizvesti problematičan odgovor: pitanje učenika osnovne škole o Drugom svjetskom ratu može rezultirati opisom koji ne želiš prikazati bez upozorenja. To je uloga API-ja za moderaciju: analizirati sadržaj naknadno i dodijeliti ocjene rizika po kategorijama.

API za moderaciju tvoja je druga linija obrane—nadopunjuje zaštitne ograde kako bi stvorio potpunu sigurnosnu arhitekturu, s jednom velikom razlikom: sam po sebi ništa ne blokira; on te samo informira.

Model Mistral Moderation 2

Namjenski model za moderaciju zove se mistral-moderation-2603 (Mistral Moderation 2, verzija iz ožujka 2026.). To je specijalizirani klasifikator, različit od modela za generiranje: ne piše tekst, već dodjeljuje ocjene. Njegov službeni tehnički list ističe kontekstni prozor od 128.000 tokena, detekciju probijanja zaštite (jailbreak) i snažne performanse na složenom višejezičnom sadržaju, uključujući duge razgovore. Zamijenio je mistral-moderation-2411, koji je stavljen izvan upotrebe 31. ožujka 2026.

Ocjenjuje svaki tekst kroz 11 kategorija, s ocjenom od 0.0 do 1.0 po kategoriji. Prihvaća dva načina unosa: običan tekst ili konverzacijski, a odabir između njih utječe na kvalitetu rezultata više nego što bi mogao očekivati.

Drugi model za moderaciju postoji od 4. kolovoza 2026. u javnoj probi: Shieldstral 1.0. Radi drugačije: kompaktan je (3,8 milijardi parametara) i multimodalan, klasificira tekst i slike na temelju pitanja o politici formuliranih u prirodnom jeziku, odgovarajući s da ili ne. Njegove težine objavljene su pod licencom Apache 2.0, što omogućuje samostalno hostiranje. Dok god ostane u probi, mistral-moderation-2603 ostaje produkcijski model i on se koristi za zaštitne ograde.

Krajnja točka /v1/moderations

Način običnog teksta najjednostavniji je: šalješ jedan ili više tekstova na klasifikaciju, bez dodatnog konteksta.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

# Moderiraj jednostavan tekst
response = client.classifiers.moderate(
    model="mistral-moderation-2603",
    inputs=["Text to analyze for moderation"]
)

# Pristupi rezultatima
for result in response.results:
    print(f"Categories: {result.categories}")
    print(f"Scores: {result.category_scores}")

Za moderiranje potpunih razmjena, upita i odgovora zajedno, konverzacijski način daje klasifikatoru ono što mu je nedostajalo: nit rasprave.

# Moderiraj potpuni razgovor
response = client.classifiers.moderate_chat(
    model="mistral-moderation-2603",
    inputs=[
        [
            {"role": "user", "content": "How do I treat a headache?"},
            {"role": "assistant", "content": "Take 1g of paracetamol..."}
        ]
    ]
)

# Klasifikator procjenjuje cijeli kontekst
for result in response.results:
    print(f"Health score: {(result.category_scores or {}).get('health', 0)}")

Konverzacijski način, koji poziva krajnju točku /v1/chat/moderations, ono je što Mistral preporučuje za razmjenu: model je obučen klasificirati posljednji korak razgovora u svjetlu prethodnih. Da bi moderirao odgovor svog asistenta, stavi ga na zadnje mjesto. Popis popisa u primjeru omogućuje slanje više razgovora odjednom; za jedan razgovor dovoljan je jednostavan popis poruka. Isti tekst tako može dobiti različitu ocjenu ovisno o tome odgovara li na legitiman ili zlonamjeran upit—doziranje navedeno kao odgovor na zahtjev za informacijama nema isti status kao ista doza ubačena u razmjenu o rizičnom samoliječenju.

Struktura odgovora

Za svaki analizirani tekst odgovor sadrži dva paralelna bloka: categories, booleane vrijednosti izračunate s pragovima koje je postavio Mistral na temelju svog internog testnog skupa, i category_scores, sirove ocjene od 0.0 do 1.0. Primjer u nastavku je ilustrativan, sa zaobljenim vrijednostima; neki primjeri u dokumentaciji i dalje prikazuju devet kategorija starog modela, gdje je dangerous_and_criminal_content kombinirao dangerous i criminal. Koristit ćeš potonje jer ti omogućuju postavljanje vlastitih granica.

{
  "id": "mod-abc123",
  "model": "mistral-moderation-2603",
  "results": [
    {
      "categories": {
        "sexual": false,
        "hate_and_discrimination": false,
        "violence_and_threats": false,
        "dangerous": false,
        "criminal": false,
        "selfharm": false,
        "health": true,
        "financial": false,
        "law": false,
        "pii": false,
        "jailbreaking": false
      },
      "category_scores": {
        "sexual": 0.01,
        "hate_and_discrimination": 0.02,
        "violence_and_threats": 0.03,
        "dangerous": 0.02,
        "criminal": 0.01,
        "selfharm": 0.01,
        "health": 0.72,
        "financial": 0.05,
        "law": 0.08,
        "pii": 0.02,
        "jailbreaking": 0.01
      }
    }
  ]
}

U ovom primjeru, samo je health označen kao true, s 0.72. Asistent usmjeren na potrošače ovo bi vidio kao signal za blokiranje; alat namijenjen ljekarnicima propustio bi ga bez oklijevanja. Ista ocjena, dvije suprotne odluke, i upravo zato radiš s ocjenama, a ne s booleanima.

Moderiraj više tekstova u seriji

API prihvaća više tekstova u jednom zahtjevu, što mijenja sve za serijsku obradu: retroaktivna analiza povijesti razgovora ili baze komentara postaje razumna operacija u smislu broja poziva.

# Moderiraj više tekstova u jednom zahtjevu
texts = [
    "First text to analyze",
    "Second text to analyze",
    "Third text to analyze"
]

response = client.classifiers.moderate(
    model="mistral-moderation-2603",
    inputs=texts
)

# Svaki tekst ima svoj vlastiti rezultat
for i, result in enumerate(response.results):
    scores = result.category_scores or {}
    max_cat = max(scores, key=lambda c: scores[c])
    max_score = scores[max_cat]
    print(f"Text {i+1}: max score = {max_score:.2f} ({max_cat})")

Zaštitne ograde naspram API-ja za moderaciju: kada što koristiti

AspektPrilagođene zaštitne ogradeAPI za moderaciju
VrijemePRIJE generiranjaNAKON generiranja
RadnjaAutomatski blokira (403)Vraća ocjene (ti odlučuješ)
KontrolaTvoji pragovi po kategoriji, koje primjenjuje MistralSirove ocjene, slobodna logika
PozivParametar zahtjeva za generiranjeOdvojeni poziv na /v1/moderations
Slučaj upotrebeFiltriranje opasnih upitaKlasificiranje odgovora

Primjer: potpuni pipeline

Pipeline u nastavku prikazuje slijed ova dva mehanizma. Generiranje je zaštićeno zaštitnom ogradom usmjerenom na probijanje zaštite (jailbreaking); odgovor se zatim klasificira zajedno s pitanjem koje ga je proizvelo, a prilagođena odluka stupa na snagu čim ocjena prijeđe 0.5. Imaj na umu da dva koraka vraćaju različite statuse—blocked_input i blocked_output—tako da tvoji zapisi jasno govore gdje je zahtjev zaustavljen.

from mistralai.client import errors
from mistralai.client.models import GuardrailConfigTypedDict

GUARDRAIL_JAILBREAK: list[GuardrailConfigTypedDict] = [
    {
        "block_on_error": True,
        "moderation_llm_v2": {
            "custom_category_thresholds": {"jailbreaking": 0.1},
            "action": "block",
        },
    }
]


def secure_pipeline(user_message: str) -> dict:
    """Pipeline sa zaštitnim ogradama (ulaz) i moderacijom (izlaz)."""
    # Korak 1: generiraj sa zaštitnim ogradama
    try:
        response = client.chat.complete(
            model="mistral-large-latest",
            messages=[{"role": "user", "content": user_message}],
            guardrails=GUARDRAIL_JAILBREAK,
        )
    except errors.SDKError as e:
        if e.status_code == 403:
            return {"status": "blocked_input", "content": None}
        raise

    generated = response.choices[0].message.content
    if not isinstance(generated, str):
        return {"status": "error", "content": None}

    # Korak 2: moderiraj izlaz, u kontekstu pitanja
    moderation = client.classifiers.moderate_chat(
        model="mistral-moderation-2603",
        inputs=[
            {"role": "user", "content": user_message},
            {"role": "assistant", "content": generated},
        ],
    )

    scores = moderation.results[0].category_scores or {}
    if max(scores.values(), default=0.0) > 0.5:
        return {"status": "blocked_output", "scores": scores}

    return {"status": "ok", "content": generated, "scores": scores}

Ključne točke

  • API za moderaciju koristi model mistral-moderation-2603 za klasifikaciju sadržaja
  • Dostupna su dva načina: običan tekst i konverzacijski
  • Ocjene se kreću od 0.0 do 1.0—ti definiraš vlastite pragove za odlučivanje
  • Konverzacijski način je precizniji jer uzima u obzir kontekst
  • Kombiniraj zaštitne ograde (ulaz) + moderaciju (izlaz) za dubinsku obranu