Ir para o conteúdo principal
Português— Escolher um idioma
Menu

As 11 Categorias de Moderação

Aula 6 de 12 Atualizada a 3 de novembro de 2026 Programador
Nesta página
  1. Compreender as Categorias de Risco
  2. Categorias “Rígidas” vs. “Flexíveis”
  3. Analisar Pontuações em Python
  4. Múltiplas Categorias: Um Texto Pode Disparar Vários Alertas
  5. Pontos-chave

Atualizado a 3 de novembro de 2026. A tabela de categorias listava anteriormente três chaves inexistentes (hate, violence, unpredictable) e omitia dangerous. As onze chaves abaixo refletem o modelo mistral-moderation-2603, com base na documentação e nos tipos do SDK mistralai 3.7.0; as descrições seguem as definições da Mistral. Os valores de saída apresentados como dados medidos eram exemplos ilustrativos e estão agora claramente assinalados como tal. Fontes: Moderation & Guardrailing · Mistral Moderation 2411 (modelo descontinuado).

Compreender as Categorias de Risco

O modelo de Moderação da Mistral analisa conteúdos em 11 categorias distintas. Cada categoria abrange um tipo específico de risco e devolve uma pontuação independente entre 0,0 e 1,0. Compreender exatamente o que cada categoria deteta é essencial para definir limiares significativos. Sem esta clareza, estará apenas a adivinhar números e a questionar-se porque é que certos conteúdos são bloqueados inesperadamente.

A tabela abaixo fornece a chave exata da API para cada categoria, o que esta abrange e os tipos de casos que deteta na prática.

CategoriaChave da APIO que a Mistral inclui
Conteúdo sexualsexualAtividades sexuais, nudez ou serviços sexuais explicitamente descritos ou promovidos; conteúdos educativos ou médicos não explícitos estão geralmente isentos
Ódio e discriminaçãohate_and_discriminationPreconceito, hostilidade ou apelos à discriminação com base em características protegidas, incluindo assédio
Violência e ameaçasviolence_and_threatsViolência física descrita, glorificada, incitada ou ameaçada, bem como instruções para a cometer
Conteúdo perigosodangerousComportamentos extremamente perigosos com elevado risco de dano físico
Atividades criminosascriminalAtividades ilegais descritas ou promovidas
AutomutilaçãoselfharmAutomutilação, suicídio, distúrbios alimentares: métodos, glorificação, intenção, desafios perigosos
SaúdehealthPedidos ou fornecimento de conselhos médicos detalhados ou personalizados
FinançasfinancialPedidos ou fornecimento de conselhos financeiros detalhados ou personalizados
JurídicolawPedidos ou fornecimento de conselhos jurídicos detalhados ou personalizados
Dados pessoaispiiPedidos, partilha ou tentativas de obter dados identificativos: nome completo, morada, número de telefone, número de segurança social, dados bancários
JailbreakjailbreakingTentativas de contornar as regras do modelo através de manipulação de prompts, jogos de papéis ou outras técnicas

As categorias dangerous, criminal e jailbreaking foram introduzidas com o modelo mistral-moderation-2603. O modelo anterior, mistral-moderation-2411, descontinuado a 31 de março de 2026, combinava as duas primeiras sob uma única chave, dangerous_and_criminal_content, e não detetava jailbreaks. Alguns exemplos de respostas na documentação ainda mostram esta divisão mais antiga: leia sempre as chaves que a API devolve em vez de as presumir.

Categorias “Rígidas” vs. “Flexíveis”

Na prática, estas 11 categorias dividem-se em dois grupos com base na criticidade, e esta distinção orienta toda a sua estratégia de limiares.

Categorias rígidas — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal e selfharm — representam riscos graves onde um falso negativo (falhar na deteção de conteúdo perigoso) pode ter consequências severas. O conteúdo sexual acarreta riscos legais e obrigações de proteção de menores; o discurso de ódio expõe-no a grandes danos reputacionais e responsabilidade legal; a violência envolve incitação e ameaças; as categorias de perigo e criminalidade cobrem comportamentos de alto risco e atividades ilegais; a automutilação envolve a segurança do utilizador e situações de risco de vida. Para estas seis categorias, limiares baixos de 0,1 a 0,2 justificam-se independentemente do seu produto, aceitando deliberadamente alguns falsos positivos.

Categorias flexíveis dependem fortemente do contexto da sua aplicação, com limiares ajustáveis entre 0,3 e 0,8. Um chatbot médico legítimo precisa de discutir health, uma aplicação fintech requer conversas abrangidas por financial, um assistente jurídico lida necessariamente com law, e algumas aplicações recolhem legalmente dados que se enquadram em pii. Um caso lê-se de forma diferente: jailbreaking não depende do assunto, mas da intenção de manipular o modelo, permanecendo crítico para qualquer aplicação aberta ao público.

Analisar Pontuações em Python

A função seguinte transforma uma chamada bruta à API num veredicto legível: isola as categorias que excedem 0,3, identifica a pontuação máxima e a sua categoria, e devolve um indicador safe que pode usar diretamente na lógica da sua aplicação.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def analyze_content(text: str) -> dict:
    """Analyze text and return risk categories."""
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )

    scores = response.results[0].category_scores or {}

    # Separate risk categories
    risks = {}
    for category, score in scores.items():
        if score > 0.3:
            risks[category] = round(score, 3)

    return {
        "text": text[:100],
        "risks": risks,
        "max_score": max(scores.values(), default=0.0),
        "max_category": max(scores, key=lambda c: scores[c], default=None),
        "safe": len(risks) == 0
    }

print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))

category_scores é opcional no SDK, daí o or {}. Execute ambos os exemplos na sua conta: a saudação deve manter-se muito baixa em toda a linha, enquanto a questão sobre dosagem deve disparar em health. Isto não é conteúdo “perigoso” no sentido comum — é conteúdo sobre o qual deve decidir se se enquadra no seu âmbito.

Múltiplas Categorias: Um Texto Pode Disparar Vários Alertas

Um único texto pode ter pontuações elevadas em várias categorias simultaneamente — um pedido de ajuda para fraude fiscal atingirá criminal, financial e law ao mesmo tempo. A sua lógica de decisão deve ter em conta esta multiplicidade e, acima de tudo, priorizar: a função abaixo ordena as violações pela magnitude da ultrapassagem do limiar, indicando-lhe qual a categoria que realmente motivou o bloqueio.

def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
    """Evaluate global risk considering all categories."""
    violations = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)
        if score > threshold:
            violations.append({
                "category": category,
                "score": score,
                "threshold": threshold,
                "excess": round(score - threshold, 3)
            })

    return {
        "blocked": len(violations) > 0,
        "violations": sorted(violations,
                            key=lambda v: v["excess"],
                            reverse=True),
        "violation_count": len(violations)
    }

# Configuration by profile
strict_thresholds = {
    "sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
    "dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
    "health": 0.3, "financial": 0.3, "law": 0.3,
    "pii": 0.15, "jailbreaking": 0.1,
}

O perfil strict_thresholds segue exatamente a lógica rígida/flexível descrita acima: limiares de 0,1 a 0,15 nas seis categorias críticas e no jailbreak, tolerância de 0,3 para domínios contextuais. Mantenha esta estrutura como ponto de partida e documente quaisquer desvios que introduza.

Pontos-chave

  • O modelo mistral-moderation-2603 analisa conteúdos em 11 categorias com chaves fixas; hate, violence ou unpredictable não existem
  • Cada categoria devolve uma pontuação de 0,0 a 1,0
  • As categorias “rígidas” (sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal, selfharm) exigem limiares baixos
  • As categorias “flexíveis” (health, financial, law) ajustam-se com base no contexto da sua aplicação
  • Um único texto pode acionar múltiplas categorias simultaneamente
  • Utilize pontuações brutas (category_scores) em vez de booleanos padrão