Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

L-API ta' Moderazzjoni ta' Mistral

Lezzjoni 5 / 12 Aġġornat 3 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Ikklassifika l-kontenut wara l-ġenerazzjoni
  2. Il-mudell Mistral Moderation 2
  3. L-endpoint /v1/moderations
  4. Struttura tar-risposta
  5. Immodera testi multipli f’lott
  6. Guardrails vs API ta’ Moderazzjoni: meta tuża x’
  7. Eżempju: pipeline sħiħa
  8. Punti Ewlenin

Aġġornat fit-3 ta’ Novembru, 2026. L-eżempju tar-risposta qabel kien jinkludi ċwievet li ma jeżistux (hate, violence, unpredictable); issa jirrifletti l-ħdax-il kategorija minn mistral-moderation-2603. Il-pipeline finali qabel kien juża format ta’ guardrail inventat (enabled) u kien jiskopri l-imblukkar billi jfittex “403” fil-messaġġ tal-iżball: issa jsegwi l-format uffiċjali u jiċċekkja e.status_code. Il-preżentazzjoni tal-mudell taderixxi mad-datasheet uffiċjali tiegħu, u d-dars tintroduċi Shieldstral 1.0, il-mudell ta’ moderazzjoni f’preview pubbliku minn Awwissu 2026. Il-kodiċi ġie vverifikat kontra t-tipi tal-SDK mistralai verżjoni 3.7.0. Sorsi: Moderation & Guardrailing · Mistral Moderation 2 · Shieldstral 1.0.

Ikklassifika l-kontenut wara l-ġenerazzjoni

Il-guardrails jiffiltraw il-prompts tal-input. Imma x’inhu dwar il-kontenut iġġenerat mill-mudell? Prompt innoċenti jista’ jipproduċi tweġiba problematika: mistoqsija ta’ student tal-iskola sekondarja dwar it-Tieni Gwerra Dinjija tista’ twassal għal deskrizzjoni li ma tridx turi mingħajr avvertenzi. Dak hu r-rwol tal-API ta’ Moderazzjoni: li tanalizza l-kontenut wara l-fatt u tassenja punteġġi tar-riskju skont il-kategorija.

L-API ta’ Moderazzjoni hija t-tieni linja tad-difiża tiegħek—tikkomplementa l-guardrails biex toħloq arkitettura ta’ sigurtà sħiħa, b’differenza ewlenija waħda: ma timblokka xejn waħedha; tinformak biss.

Il-mudell Mistral Moderation 2

Il-mudell dedikat għall-moderazzjoni jissejjaħ mistral-moderation-2603 (Mistral Moderation 2, verżjoni ta’ Marzu 2026). Huwa klassifikatur speċjalizzat, distint mill-mudelli tal-ġenerazzjoni: ma jiktibx test, iżda jassenja punteġġi. Id-datasheet uffiċjali tiegħu jenfasizza tieqa tal-kuntest ta’ 128,000 token, detezzjoni ta’ jailbreak, u prestazzjoni qawwija fuq kontenut multilingwi kumpless, inkluż konversazzjonijiet twal. Jissostitwixxi mistral-moderation-2411, li ġie deprekat fil-31 ta’ Marzu, 2026.

Jippreżenta kull test fuq 11-il kategorija, b’punteġġ minn 0.0 sa 1.0 għal kull kategorija. Jaċċetta żewġ modalitajiet ta’ input, test sempliċi jew konversazzjonali, u l-għażla bejniethom taffettwa l-kwalità tar-riżultati aktar milli tista’ timmaġina.

Tieni mudell ta’ moderazzjoni jeżisti mill-4 ta’ Awwissu, 2026, f’preview pubbliku: Shieldstral 1.0. Jaħdem b’mod differenti: kompatt (3.8 biljun parametru) u multimodali, jikklassifika testi u stampati abbażi ta’ mistoqsijiet dwar il-politika fformulati f’lingwa naturali, u jwieġeb iva jew le. Il-piżijiet tiegħu huma ppubblikati taħt il-liċenzja Apache 2.0, li jippermetti self-hosting. Sakemm jibqa’ f’preview, mistral-moderation-2603 jibqa’ l-mudell tal-produzzjoni, u huwa dak użat għall-guardrails.

L-endpoint /v1/moderations

Il-modalità tat-test sempliċi hija l-aktar sempliċi: tibgħat test wieħed jew aktar biex jiġu kklassifikati, mingħajr kuntest addizzjonali.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

# Moderate simple text
response = client.classifiers.moderate(
    model="mistral-moderation-2603",
    inputs=["Text to analyze for moderation"]
)

# Access results
for result in response.results:
    print(f"Categories: {result.categories}")
    print(f"Scores: {result.category_scores}")

Biex timmodera skambji sħaħ, il-prompt u t-tweġiba flimkien, il-modalità konversazzjonali tagħti lill-klassifikatur dak li kien jonqsu: il-fil tal-konversazzjoni.

# Moderate a complete conversation
response = client.classifiers.moderate_chat(
    model="mistral-moderation-2603",
    inputs=[
        [
            {"role": "user", "content": "How do I treat a headache?"},
            {"role": "assistant", "content": "Take 1g of paracetamol..."}
        ]
    ]
)

# The classifier evaluates the full context
for result in response.results:
    print(f"Health score: {(result.category_scores or {}).get('health', 0)}")

Il-modalità konversazzjonali, li ssejjaħ l-endpoint /v1/chat/moderations, hija dak li Mistral jirrakkomanda għal skambju: il-mudell huwa mħarreġ biex jikklassifika l-aħħar dawra tal-konversazzjoni fid-dawl ta’ dawk ta’ qabilha. Biex timmodera t-tweġiba tal-assistent tiegħek, poġġiha l-aħħar. Il-lista ta’ listi fl-eżempju tippermetti li tibgħat konversazzjonijiet multipli f’daqqa; lista sempliċi ta’ messaġġi biżżejjed għal waħda waħda. L-istess test għalhekk jista’ jirċievi punteġġ differenti skont jekk iwieġibx mistoqsija leġittima jew malizzjuża—dożaġġ iċċitat bħala tweġiba għal talba għal informazzjoni m’għandux l-istess status bħall-istess dożaġġ imdaħħal f’skambju dwar awto-mediċina riskjuża.

Struttura tar-risposta

Għal kull test analizzat, ir-risposta fiha żewġ blokok paralleli: categories, booleans ikkalkulati b’limiti stabbiliti minn Mistral abbażi tas-sett tat-test intern tiegħu, u category_scores, il-punteġġi raw minn 0.0 sa 1.0. L-eżempju hawn taħt huwa illustrattiv, b’valuri mqaċċra; xi eżempji tad-dokumentazzjoni għadhom juru d-disa’ kategoriji tal-mudell l-antik, fejn dangerous_and_criminal_content kienet tgħaqqad dangerous u criminal. Inti se tuża dawn tal-aħħar għax jħalluk tistabbilixxi l-limiti tiegħek stess.

{
  "id": "mod-abc123",
  "model": "mistral-moderation-2603",
  "results": [
    {
      "categories": {
        "sexual": false,
        "hate_and_discrimination": false,
        "violence_and_threats": false,
        "dangerous": false,
        "criminal": false,
        "selfharm": false,
        "health": true,
        "financial": false,
        "law": false,
        "pii": false,
        "jailbreaking": false
      },
      "category_scores": {
        "sexual": 0.01,
        "hate_and_discrimination": 0.02,
        "violence_and_threats": 0.03,
        "dangerous": 0.02,
        "criminal": 0.01,
        "selfharm": 0.01,
        "health": 0.72,
        "financial": 0.05,
        "law": 0.08,
        "pii": 0.02,
        "jailbreaking": 0.01
      }
    }
  ]
}

F’dan l-eżempju, biss health hija mmarkata bħala true, b’0.72. Assistent orjentat lejn il-konsumatur jara dan bħala sinjal ta’ blokk; għodda maħsuba għall-ispiżjara tħalliha tgħaddi mingħajr ebda esitazzjoni. L-istess punteġġ, żewġ deċiżjonijiet opposti, u dan huwa preċiżament għaliex taħdem b’punteġġi minflok booleans.

Immodera testi multipli f’lott

L-API taċċetta testi multipli f’talba waħda, li tbiddel kollox għall-ipproċessar f’lott: l-analiżi retroattiva ta’ storja ta’ konversazzjoni jew database ta’ kummenti ssir operazzjoni raġonevoli f’termini ta’ għadd ta’ sejħiet.

# Moderate multiple texts in a single request
texts = [
    "First text to analyze",
    "Second text to analyze",
    "Third text to analyze"
]

response = client.classifiers.moderate(
    model="mistral-moderation-2603",
    inputs=texts
)

# Each text has its own result
for i, result in enumerate(response.results):
    scores = result.category_scores or {}
    max_cat = max(scores, key=lambda c: scores[c])
    max_score = scores[max_cat]
    print(f"Text {i+1}: max score = {max_score:.2f} ({max_cat})")

Guardrails vs API ta’ Moderazzjoni: meta tuża x’

AspettCustom GuardrailsModeration API
ĦinQABEL il-ġenerazzjoniWARA l-ġenerazzjoni
AzzjoniTimblokka awtomatikament (403)Tirritorna punteġġi (tiddeċiedi int)
KontrollIl-limiti tiegħek għal kull kategorija, applikati minn MistralPunteġġi raw, loġika ħielsa
SejħaParametru tat-talba tal-ġenerazzjoniSejħa separata lejn /v1/moderations
Każ ta’ użuIffiltra prompts perikolużiIkklassifika tweġibiet

Eżempju: pipeline sħiħa

Il-pipeline hawn taħt turi s-sekwenzjar taż-żewġ mekkaniżmi. Il-ġenerazzjoni hija protetta minn guardrail iffukat fuq il-jailbreaking; it-tweġiba mbagħad tiġi kklassifikata flimkien mal-mistoqsija li pproduċietha, u deċiżjoni personalizzata tintervena mallja punteġġ jaqbeż 0.5. Innota li ż-żewġ passi jirritornaw status distinti—blocked_input u blocked_output—biex il-logs tiegħek jgħidulek b’mod ċar fejn waqfet it-talba.

from mistralai.client import errors
from mistralai.client.models import GuardrailConfigTypedDict

GUARDRAIL_JAILBREAK: list[GuardrailConfigTypedDict] = [
    {
        "block_on_error": True,
        "moderation_llm_v2": {
            "custom_category_thresholds": {"jailbreaking": 0.1},
            "action": "block",
        },
    }
]


def secure_pipeline(user_message: str) -> dict:
    """Pipeline with guardrails (input) and moderation (output)."""
    # Step 1: generate with guardrails
    try:
        response = client.chat.complete(
            model="mistral-large-latest",
            messages=[{"role": "user", "content": user_message}],
            guardrails=GUARDRAIL_JAILBREAK,
        )
    except errors.SDKError as e:
        if e.status_code == 403:
            return {"status": "blocked_input", "content": None}
        raise

    generated = response.choices[0].message.content
    if not isinstance(generated, str):
        return {"status": "error", "content": None}

    # Step 2: moderate the output, in the context of the question
    moderation = client.classifiers.moderate_chat(
        model="mistral-moderation-2603",
        inputs=[
            {"role": "user", "content": user_message},
            {"role": "assistant", "content": generated},
        ],
    )

    scores = moderation.results[0].category_scores or {}
    if max(scores.values(), default=0.0) > 0.5:
        return {"status": "blocked_output", "scores": scores}

    return {"status": "ok", "content": generated, "scores": scores}

Punti Ewlenin

  • L-API ta’ Moderazzjoni tuża l-mudell mistral-moderation-2603 biex tikklassifika l-kontenut
  • Żewġ modalitajiet disponibbli: test sempliċi u konversazzjonali
  • Il-punteġġi jvarjaw minn 0.0 sa 1.0—int tiddefinixxi l-limiti tad-deċiżjoni tiegħek stess
  • Il-modalità konversazzjonali hija aktar preċiża għax tqis il-kuntest
  • Għaqqad guardrails (input) + moderazzjoni (output) għal difensa f’fond