Por que proteger as suas aplicações de IA
Nesta página
Atualizado em 2 de novembro de 2026 — Modelos. O Mistral Large 3 (
mistral-large-2512) e o Mistral Medium 3.5 foram descontinuados a 31 de outubro de 2026 e serão retirados de serviço a 30 de abril de 2027. O seu sucessor designado, Mistral Large 4 (mistral-large-4), está em pré-visualização pública desde 6 de outubro. Os exemplos neste curso utilizam o aliasmistral-large-latest, que aponta atualmente para o Mistral Large 3 de acordo com a sua especificação oficial (verificado em 3 de novembro de 2026). Da mesma forma,mistral-medium-latestaponta para o Mistral Medium 3.5. Estes aliases permanecerão válidos até 30 de abril de 2027. Para novos projetos, teste omistral-large-4, o seu sucessor designado.
Corrigido em 3 de novembro de 2026. O exemplo de guarda utilizado anteriormente um formato inventado (
guardrails={"enabled": True}). O parâmetro oficial é uma lista de configuraçõesmoderation_llm_v2, detalhadas na próxima lição. Dois números sem fonte («78% das empresas» e «latência inferior a 50 ms») foram removidos: a Mistral não publica métricas de latência para as suas guardas. Fontes: Moderação e Guardrailing · SDKmistralai3.7.0.
Segurança da IA: Um Desafio Crítico em 2026
Implementar um modelo de linguagem em produção sem mecanismos de segurança é como lançar um serviço web sem firewall. Os grandes modelos de linguagem (LLM) são ferramentas poderosas, mas podem gerar conteúdo inadequado, vazar dados sensíveis ou ser manipulados por utilizadores mal-intencionados. Isto não é um problema teórico: manifesta-se nas primeiras milhares de solicitações reais, assim que os seus utilizadores saem dos cenários que imaginou.
Enquanto programador, é diretamente responsável pelo que a sua aplicação de IA produz. Se o seu chatbot gerar conselhos médicos perigosos ou conteúdo de ódio, a sua empresa arcará com as consequências — legais, reputacionais e financeiras. Ninguém perguntará se o modelo veio de um fornecedor terceiro.
Os Três Tipos de Riscos
O primeiro risco é a geração de conteúdo inadequado. O modelo pode produzir conteúdo violento, sexual, discriminatório ou perigoso, mesmo sem intenção maliciosa por parte do utilizador. Um simples prompt ambíguo é suficiente para desencadear uma resposta problemática: pergunte a um assistente culinário como «neutralizar» um ingrediente e verá que a linha é mais ténue do que o esperado.
O segundo risco provém da manipulação pelo utilizador, também conhecida como injeção de prompt. Utilizadores mal-intencionados tentam contornar as instruções do sistema para forçar o modelo a produzir conteúdo proibido. As técnicas de «jailbreak» evoluem constantemente, disseminam-se em fóruns em poucas horas e exigem defesas em várias camadas, e não apenas uma simples lista de palavras banidas.
O terceiro risco é o vazamento de dados sensíveis. O modelo pode revelar inadvertidamente informações de identificação pessoal (PII), segredos injetados no contexto ou dados confidenciais presentes no seu conjunto de treino. Imagine um assistente de RH a quem perguntam inocentemente: «O que consta no processo da Marie?». O pedido não é agressivo, mas o resultado é uma violação de dados.
A Abordagem da Mistral: Duas Linhas de Defesa
A Mistral aborda estes riscos com duas camadas complementares: uma a montante e outra a jusante. A primeira, Guardas Personalizadas (Custom Guardrails), analisa o prompt do utilizador antes de este chegar ao modelo. Se o conteúdo for considerado perigoso, o pedido é bloqueado com um erro 403 — o modelo nunca vê o prompt e não gera nada a partir dele.
# O prompt é analisado ANTES do modelo
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": prompt}],
guardrails=[ # Primeira linha de defesa
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": {"jailbreaking": 0.3},
"action": "block",
},
}
],
)
A segunda camada, a API de Moderação, funciona na direção oposta: analisa o conteúdo após a geração para atribuir pontuações de risco por categoria. Ao contrário das guardas, não toma decisões por si. Recupera as pontuações e decide o que fazer a seguir: exibir, ocultar, sinalizar ou bloquear.
# O conteúdo gerado é analisado APÓS a geração
moderation = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
{"role": "user", "content": prompt},
{"role": "assistant", "content": texte_genere}, # o texto da resposta
],
)
Por que Ambas São Necessárias
Cada camada tem um ponto cego que a outra cobre. As guardas sozinhas não são suficientes: o modelo pode gerar conteúdo problemático mesmo a partir de um prompt inofensivo, e a análise de entrada não consegue antecipar tudo. A moderação sozinha também não é suficiente: deteta problemas após o facto, nunca impedindo o modelo de processar pedidos maliciosos ou de desperdiçar tempo de computação com eles.
Combinadas, formam uma defesa em profundidade: a filtragem de entrada é proativa, a filtragem de saída é reativa e o conteúdo perigoso tem de passar por ambas para chegar ao utilizador. É esta redundância, e não a perfeição de um único filtro, que torna a arquitetura robusta.
A Sua Responsabilidade Enquanto Programador
O quadro regulamentar europeu impõe obrigações concretas ao abrigo da Lei da IA e do RGPD (Regulamento Geral sobre a Proteção de Dados). Deve garantir a transparência, ou seja, informar os utilizadores de que estão a interagir com uma IA, e a rastreabilidade, mantendo registos de moderação utilizáveis durante uma auditoria. Aplica-se também a proporcionalidade: os limiares de segurança para um assistente destinado a profissionais de saúde não podem ser os mesmos de um chatbot para consumidores, e deve ser capaz de justificar a sua escolha. Por fim, a proteção de dados proíbe o processamento de PII sem uma base legal, inclusive nos seus registos de moderação.
Neste curso, aprenderá a implementar estas duas linhas de defesa com a API da Mistral, a configurar os seus limiares e a construir uma arquitetura de segurança completa para as suas aplicações em produção.
Pontos-chave
- Os LLM em produção exigem mecanismos de segurança
- A Mistral oferece duas abordagens complementares: guardas (antes) e moderação (depois)
- É responsável pelo conteúdo gerado pela sua aplicação
- A segurança da IA não é opcional — é uma obrigação legal e ética