As 11 Categorias de Moderação
Nesta página
Atualizado a 3 de novembro de 2026. A tabela de categorias listava anteriormente três chaves inexistentes (
hate,violence,unpredictable) e omitiadangerous. As onze chaves abaixo refletem o modelomistral-moderation-2603, com base na documentação e nos tipos do SDKmistralai3.7.0; as descrições seguem as definições da Mistral. Os valores de saída apresentados como dados medidos eram exemplos ilustrativos e estão agora claramente assinalados como tal. Fontes: Moderation & Guardrailing · Mistral Moderation 2411 (modelo descontinuado).
Compreender as Categorias de Risco
O modelo de Moderação da Mistral analisa conteúdos em 11 categorias distintas. Cada categoria abrange um tipo específico de risco e devolve uma pontuação independente entre 0,0 e 1,0. Compreender exatamente o que cada categoria deteta é essencial para definir limiares significativos. Sem esta clareza, estará apenas a adivinhar números e a questionar-se porque é que certos conteúdos são bloqueados inesperadamente.
A tabela abaixo fornece a chave exata da API para cada categoria, o que esta abrange e os tipos de casos que deteta na prática.
| Categoria | Chave da API | O que a Mistral inclui |
|---|---|---|
| Conteúdo sexual | sexual | Atividades sexuais, nudez ou serviços sexuais explicitamente descritos ou promovidos; conteúdos educativos ou médicos não explícitos estão geralmente isentos |
| Ódio e discriminação | hate_and_discrimination | Preconceito, hostilidade ou apelos à discriminação com base em características protegidas, incluindo assédio |
| Violência e ameaças | violence_and_threats | Violência física descrita, glorificada, incitada ou ameaçada, bem como instruções para a cometer |
| Conteúdo perigoso | dangerous | Comportamentos extremamente perigosos com elevado risco de dano físico |
| Atividades criminosas | criminal | Atividades ilegais descritas ou promovidas |
| Automutilação | selfharm | Automutilação, suicídio, distúrbios alimentares: métodos, glorificação, intenção, desafios perigosos |
| Saúde | health | Pedidos ou fornecimento de conselhos médicos detalhados ou personalizados |
| Finanças | financial | Pedidos ou fornecimento de conselhos financeiros detalhados ou personalizados |
| Jurídico | law | Pedidos ou fornecimento de conselhos jurídicos detalhados ou personalizados |
| Dados pessoais | pii | Pedidos, partilha ou tentativas de obter dados identificativos: nome completo, morada, número de telefone, número de segurança social, dados bancários |
| Jailbreak | jailbreaking | Tentativas de contornar as regras do modelo através de manipulação de prompts, jogos de papéis ou outras técnicas |
As categorias dangerous, criminal e jailbreaking foram introduzidas com o modelo mistral-moderation-2603. O modelo anterior, mistral-moderation-2411, descontinuado a 31 de março de 2026, combinava as duas primeiras sob uma única chave, dangerous_and_criminal_content, e não detetava jailbreaks. Alguns exemplos de respostas na documentação ainda mostram esta divisão mais antiga: leia sempre as chaves que a API devolve em vez de as presumir.
Categorias “Rígidas” vs. “Flexíveis”
Na prática, estas 11 categorias dividem-se em dois grupos com base na criticidade, e esta distinção orienta toda a sua estratégia de limiares.
Categorias rígidas — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal e selfharm — representam riscos graves onde um falso negativo (falhar na deteção de conteúdo perigoso) pode ter consequências severas. O conteúdo sexual acarreta riscos legais e obrigações de proteção de menores; o discurso de ódio expõe-no a grandes danos reputacionais e responsabilidade legal; a violência envolve incitação e ameaças; as categorias de perigo e criminalidade cobrem comportamentos de alto risco e atividades ilegais; a automutilação envolve a segurança do utilizador e situações de risco de vida. Para estas seis categorias, limiares baixos de 0,1 a 0,2 justificam-se independentemente do seu produto, aceitando deliberadamente alguns falsos positivos.
Categorias flexíveis dependem fortemente do contexto da sua aplicação, com limiares ajustáveis entre 0,3 e 0,8. Um chatbot médico legítimo precisa de discutir health, uma aplicação fintech requer conversas abrangidas por financial, um assistente jurídico lida necessariamente com law, e algumas aplicações recolhem legalmente dados que se enquadram em pii. Um caso lê-se de forma diferente: jailbreaking não depende do assunto, mas da intenção de manipular o modelo, permanecendo crítico para qualquer aplicação aberta ao público.
Analisar Pontuações em Python
A função seguinte transforma uma chamada bruta à API num veredicto legível: isola as categorias que excedem 0,3, identifica a pontuação máxima e a sua categoria, e devolve um indicador safe que pode usar diretamente na lógica da sua aplicação.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def analyze_content(text: str) -> dict:
"""Analyze text and return risk categories."""
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Separate risk categories
risks = {}
for category, score in scores.items():
if score > 0.3:
risks[category] = round(score, 3)
return {
"text": text[:100],
"risks": risks,
"max_score": max(scores.values(), default=0.0),
"max_category": max(scores, key=lambda c: scores[c], default=None),
"safe": len(risks) == 0
}
print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))
category_scores é opcional no SDK, daí o or {}. Execute ambos os exemplos na sua conta: a saudação deve manter-se muito baixa em toda a linha, enquanto a questão sobre dosagem deve disparar em health. Isto não é conteúdo “perigoso” no sentido comum — é conteúdo sobre o qual deve decidir se se enquadra no seu âmbito.
Múltiplas Categorias: Um Texto Pode Disparar Vários Alertas
Um único texto pode ter pontuações elevadas em várias categorias simultaneamente — um pedido de ajuda para fraude fiscal atingirá criminal, financial e law ao mesmo tempo. A sua lógica de decisão deve ter em conta esta multiplicidade e, acima de tudo, priorizar: a função abaixo ordena as violações pela magnitude da ultrapassagem do limiar, indicando-lhe qual a categoria que realmente motivou o bloqueio.
def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
"""Evaluate global risk considering all categories."""
violations = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
violations.append({
"category": category,
"score": score,
"threshold": threshold,
"excess": round(score - threshold, 3)
})
return {
"blocked": len(violations) > 0,
"violations": sorted(violations,
key=lambda v: v["excess"],
reverse=True),
"violation_count": len(violations)
}
# Configuration by profile
strict_thresholds = {
"sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
"dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
"health": 0.3, "financial": 0.3, "law": 0.3,
"pii": 0.15, "jailbreaking": 0.1,
}
O perfil strict_thresholds segue exatamente a lógica rígida/flexível descrita acima: limiares de 0,1 a 0,15 nas seis categorias críticas e no jailbreak, tolerância de 0,3 para domínios contextuais. Mantenha esta estrutura como ponto de partida e documente quaisquer desvios que introduza.
Pontos-chave
- O modelo
mistral-moderation-2603analisa conteúdos em 11 categorias com chaves fixas;hate,violenceouunpredictablenão existem - Cada categoria devolve uma pontuação de 0,0 a 1,0
- As categorias “rígidas” (
sexual,hate_and_discrimination,violence_and_threats,dangerous,criminal,selfharm) exigem limiares baixos - As categorias “flexíveis” (health, financial, law) ajustam-se com base no contexto da sua aplicação
- Um único texto pode acionar múltiplas categorias simultaneamente
- Utilize pontuações brutas (
category_scores) em vez de booleanos padrão