Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

11 kategorijų moderavimas

Paskaita 6 iš 12 Atnaujinta 2026 m. lapkričio 3 d. Kūrėjas
Šiame puslapyje
  1. Rizikos kategorijų supratimas
  2. „Kietos“ ir „minkštos“ kategorijos
  3. Balų analizė naudojant „Python“
  4. Kelios kategorijos: vienas tekstas gali sukelti kelis įspėjimus
  5. Svarbiausi punktai

Atnaujinta 2026 m. lapkričio 3 d. Anksčiau kategorijų lentelėje buvo nurodyti trys neegzistuojantys raktais (hate, violence, unpredictable) ir praleistas dangerous. Toliau pateikti vienuolika raktų atitinka mistral-moderation-2603, remiantis dokumentacija ir tipais iš mistralai SDK 3.7.0 versijos; aprašymai pagrįsti „Mistral“ apibrėžimais. Pateiktos išvesties reikšmės, rodančios matuojamus duomenis, buvo iliustraciniai pavyzdžiai ir dabar aiškiai taip pažymėtos. Šaltiniai: Moderavimas ir apsauga · „Mistral“ moderavimas 2411 (pasenusio modelio).

Rizikos kategorijų supratimas

„Mistral“ moderavimo modelis analizuoja turinį 11 skirtingų kategorijų. Kiekviena kategorija apima specifinį rizikos tipą ir grąžina nepriklausomą balą nuo 0,0 iki 1,0. Būtina tiksliai suprasti, ką aptinka kiekviena kategorija, norint nustatyti prasmingas slenkstines reikšmes. Be šio aiškumo, tiesiog spėlioji skaičius ir stebiesi, kodėl turinys netikėtai blokuojamas.

Toliau pateiktoje lentelėje nurodytas tikslus kiekvienos kategorijos API raktas, ką ji apima ir kokio tipo atvejus ji aptinka praktiškai.

KategorijaAPI raktasKą „Mistral“ įtraukia
Seksualinis turinyssexualAiškiai aprašyta ar propaguojama seksualinė veikla, nuogumas ar seksualinės paslaugos; neaiškus edukacinis ar medicininis turinys paprastai neįtraukiamas
Neapykanta ir diskriminacijahate_and_discriminationIšankstinis nusistatymas, priešiškumas ar raginimai diskriminuoti dėl saugomų savybių, įskaitant priekabiavimą
Smurtas ir grasinimaiviolence_and_threatsAprašytas, šlovinamas, kurstomas ar grasinamas fizinis smurtas bei instrukcijos jį vykdyti
Pavojingas turinysdangerousYpač pavojingas elgesys, keliantis didelę fizinės žalos riziką
Nusikalstama veiklacriminalAprašyta ar propaguojama neteisėta veikla
SavižalaselfharmSavižala, savižudybė, valgymo sutrikimai: metodai, šlovinimas, ketinimai, pavojingi iššūkiai
SveikatahealthPrašymai suteikti arba išsamių bei asmeninių medicininių patarimų teikimas
FinansaifinancialPrašymai suteikti arba išsamių bei asmeninių finansinių patarimų teikimas
TeisėlawPrašymai suteikti arba išsamių bei asmeninių teisinių patarimų teikimas
Asmeniniai duomenyspiiPrašymai, dalijimasis ar bandymai gauti tapatybę nustatančius duomenis: vardą ir pavardę, adresą, telefono numerį, asmens kodą, banko duomenis
„Jailbreak“jailbreakingBandymai apeiti modelio taisykles manipuliuojant užklausomis, vaidmenų žaidimais ar kitais būdais

Kategorijos dangerous, criminal ir jailbreaking atsirado kartu su mistral-moderation-2603. Ankstesnis modelis mistral-moderation-2411, pasenęs 2026 m. kovo 31 d., pirmąsias dvi sujungė į vieną raktą dangerous_and_criminal_content ir neaptiko „jailbreak“ bandymų. Kai kuriuose dokumentacijos atsakymų pavyzdžiuose vis dar rodomas šis senesnis skirstymas: visada skaityk API grąžinamus raktus, o ne daryk prielaidų.

„Kietos“ ir „minkštos“ kategorijos

Praktiškai šios 11 kategorijų skirstomos į dvi grupes pagal jų kritiškumą, ir šis skirtumas lemia visą tavo slenkstinių reikšmių strategiją.

Kietos kategorijos — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal ir selfharm — reiškia rimtą riziką, kai klaidingas neigiamas rezultatas (nepastebėtas pavojingas turinys) gali turėti sunkių pasekmių. Seksualinis turinys kelia teisinę riziką ir įpareigojimus saugoti nepilnamečius; neapykantos kalba expose tave didelėms reputacijos žalomoms ir teisinei atsakomybei; smurtas apima kurstymą ir grasinimus; pavojingo ir nusikalstamo turinio kategorijos apima didelės rizikos elgesį ir neteisėtą veiklą; savižala susijusi su naudotojo saugumu ir gyvybei gresiančiomis situacijomis. Šioms šešioms kategorijoms mažos 0,1–0,2 slenkstinės reikšmės yra pateisinamos nepaisant tavo produkto pobūdžio, ir sąmoningai priimi tam tikrą klaidingai teigiamų rezultatų dalį.

Minkštos kategorijos labai priklauso nuo tavo programos konteksto, jų slenkstinės reikšmės gali būti koreguojamos nuo 0,3 iki 0,8. Legitimus medicininis pokalbių robotas turi aptarti health, fintech programėlėje būtinos financial aprėpties pokalbiai, teisinis asistentas būtinai tvarko law, o kai kurios programos teisėtai renka duomenis, patenkančius į pii. Vienas atvejis skiriasi: jailbreaking nepriklauso nuo temos, o nuo ketinimo manipuliuoti modeliu, todėl lieka kritinis bet kuriai viešai prieinamai programai.

Balų analizė naudojant „Python“

Toliau pateikta funkcija paverčia žalią API užklausą į įskaitomą verdiktą: ji išskiria kategorijas, viršijančias 0,3, nustato didžiausią balą ir jo kategoriją bei grąžina safe indikatorių, kurį gali tiesiogiai naudoti savo programos logikoje.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def analyze_content(text: str) -> dict:
    """Analyze text and return risk categories."""
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )

    scores = response.results[0].category_scores or {}

    # Separate risk categories
    risks = {}
    for category, score in scores.items():
        if score > 0.3:
            risks[category] = round(score, 3)

    return {
        "text": text[:100],
        "risks": risks,
        "max_score": max(scores.values(), default=0.0),
        "max_category": max(scores, key=lambda c: scores[c], default=None),
        "safe": len(risks) == 0
    }

print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))

category_scores SDK yra opcionale, todėl naudojama or {}. Paleisk abu pavyzdžius savo paskyroje: pasisveikinimas turėtų išlikti labai žemas visose kategorijose, o dozės klausimas turėtų smarkiai išaugti ties health. Tai nėra „pavojingas“ turinys įprasta prasme – tai turinys, dėl kurio turi pats nuspręsti, ar jis patenka į tavo taikymo sritį.

Kelios kategorijos: vienas tekstas gali sukelti kelis įspėjimus

Vienas tekstas vienu metu gali gauti didelius balus keliose kategorijose – prašymas padėti sukčiavimo mokesčiais atveju vienu metu suveiks criminal, financial ir law. Tavo sprendimų logika turi atsižvelgti į šį daugialypiškumą ir, svarbiausia, nustatyti prioritetus: toliau pateikta funkcija rūšiuoja pažeidimus pagal slenkstinės reikšmės viršijimo dydį, nurodydama, kuri kategorija iš tikrųjų lėmė blokavimą.

def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
    """Evaluate global risk considering all categories."""
    violations = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)
        if score > threshold:
            violations.append({
                "category": category,
                "score": score,
                "threshold": threshold,
                "excess": round(score - threshold, 3)
            })

    return {
        "blocked": len(violations) > 0,
        "violations": sorted(violations,
                            key=lambda v: v["excess"],
                            reverse=True),
        "violation_count": len(violations)
    }

# Configuration by profile
strict_thresholds = {
    "sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
    "dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
    "health": 0.3, "financial": 0.3, "law": 0.3,
    "pii": 0.15, "jailbreaking": 0.1,
}

strict_thresholds profilis tiksliai atitinka aukščiau išdėstytą kietų ir minkštų kategorijų logiką: 0,1–0,15 slenkstinės reikšmės šešioms kritinėms kategorijoms ir „jailbreak“, o 0,3 tolerancija kontekstinėms sritims. Naudok šią struktūrą kaip savo pradinį tašką ir dokumentuok visus įvestus nukrypimus.

Svarbiausi punktai

  • mistral-moderation-2603 analizuoja turinį 11 kategorijų su fiksuotais raktais; hate, violence ar unpredictable neegzistuoja
  • Kiekviena kategorija grąžina balą nuo 0,0 iki 1,0
  • „Kietos“ kategorijos (sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal, selfharm) reikalauja mažų slenkstinių reikšmių
  • „Minkštos“ kategorijos (health, financial, law) koreguojamos pagal tavo programos kontekstą
  • Vienas tekstas gali vienu metu suaktyvinti kelias kategorijas
  • Naudok žalius balus (category_scores), o ne numatytuosius boolean tipo rodiklius