Ir para o conteúdo principal
Português— Escolher um idioma
Menu

Por que proteger as suas aplicações de IA

Aula 1 de 12 Atualizada a 3 de novembro de 2026 Programador
Nesta página
  1. Segurança da IA: Um Desafio Crítico em 2026
  2. Os Três Tipos de Riscos
  3. A Abordagem da Mistral: Duas Linhas de Defesa
  4. Por que Ambas São Necessárias
  5. A Sua Responsabilidade Enquanto Programador
  6. Pontos-chave

Atualizado em 2 de novembro de 2026 — Modelos. O Mistral Large 3 (mistral-large-2512) e o Mistral Medium 3.5 foram descontinuados a 31 de outubro de 2026 e serão retirados de serviço a 30 de abril de 2027. O seu sucessor designado, Mistral Large 4 (mistral-large-4), está em pré-visualização pública desde 6 de outubro. Os exemplos neste curso utilizam o alias mistral-large-latest, que aponta atualmente para o Mistral Large 3 de acordo com a sua especificação oficial (verificado em 3 de novembro de 2026). Da mesma forma, mistral-medium-latest aponta para o Mistral Medium 3.5. Estes aliases permanecerão válidos até 30 de abril de 2027. Para novos projetos, teste o mistral-large-4, o seu sucessor designado.

Corrigido em 3 de novembro de 2026. O exemplo de guarda utilizado anteriormente um formato inventado (guardrails={"enabled": True}). O parâmetro oficial é uma lista de configurações moderation_llm_v2, detalhadas na próxima lição. Dois números sem fonte («78% das empresas» e «latência inferior a 50 ms») foram removidos: a Mistral não publica métricas de latência para as suas guardas. Fontes: Moderação e Guardrailing · SDK mistralai 3.7.0.

Segurança da IA: Um Desafio Crítico em 2026

Implementar um modelo de linguagem em produção sem mecanismos de segurança é como lançar um serviço web sem firewall. Os grandes modelos de linguagem (LLM) são ferramentas poderosas, mas podem gerar conteúdo inadequado, vazar dados sensíveis ou ser manipulados por utilizadores mal-intencionados. Isto não é um problema teórico: manifesta-se nas primeiras milhares de solicitações reais, assim que os seus utilizadores saem dos cenários que imaginou.

Enquanto programador, é diretamente responsável pelo que a sua aplicação de IA produz. Se o seu chatbot gerar conselhos médicos perigosos ou conteúdo de ódio, a sua empresa arcará com as consequências — legais, reputacionais e financeiras. Ninguém perguntará se o modelo veio de um fornecedor terceiro.

2
Linhas de defesa: guardas de entrada, moderação de saída
11
Categorias de risco cobertas pela Mistral
403
Código de estado HTTP para guardas bloqueadas
0 a 1
Intervalo do limiar, ajustável por categoria

Os Três Tipos de Riscos

O primeiro risco é a geração de conteúdo inadequado. O modelo pode produzir conteúdo violento, sexual, discriminatório ou perigoso, mesmo sem intenção maliciosa por parte do utilizador. Um simples prompt ambíguo é suficiente para desencadear uma resposta problemática: pergunte a um assistente culinário como «neutralizar» um ingrediente e verá que a linha é mais ténue do que o esperado.

O segundo risco provém da manipulação pelo utilizador, também conhecida como injeção de prompt. Utilizadores mal-intencionados tentam contornar as instruções do sistema para forçar o modelo a produzir conteúdo proibido. As técnicas de «jailbreak» evoluem constantemente, disseminam-se em fóruns em poucas horas e exigem defesas em várias camadas, e não apenas uma simples lista de palavras banidas.

O terceiro risco é o vazamento de dados sensíveis. O modelo pode revelar inadvertidamente informações de identificação pessoal (PII), segredos injetados no contexto ou dados confidenciais presentes no seu conjunto de treino. Imagine um assistente de RH a quem perguntam inocentemente: «O que consta no processo da Marie?». O pedido não é agressivo, mas o resultado é uma violação de dados.

A Abordagem da Mistral: Duas Linhas de Defesa

A Mistral aborda estes riscos com duas camadas complementares: uma a montante e outra a jusante. A primeira, Guardas Personalizadas (Custom Guardrails), analisa o prompt do utilizador antes de este chegar ao modelo. Se o conteúdo for considerado perigoso, o pedido é bloqueado com um erro 403 — o modelo nunca vê o prompt e não gera nada a partir dele.

# O prompt é analisado ANTES do modelo
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": prompt}],
    guardrails=[  # Primeira linha de defesa
        {
            "block_on_error": True,
            "moderation_llm_v2": {
                "custom_category_thresholds": {"jailbreaking": 0.3},
                "action": "block",
            },
        }
    ],
)

A segunda camada, a API de Moderação, funciona na direção oposta: analisa o conteúdo após a geração para atribuir pontuações de risco por categoria. Ao contrário das guardas, não toma decisões por si. Recupera as pontuações e decide o que fazer a seguir: exibir, ocultar, sinalizar ou bloquear.

# O conteúdo gerado é analisado APÓS a geração
moderation = client.classifiers.moderate_chat(
    model="mistral-moderation-2603",
    inputs=[
        {"role": "user", "content": prompt},
        {"role": "assistant", "content": texte_genere},  # o texto da resposta
    ],
)

Por que Ambas São Necessárias

Cada camada tem um ponto cego que a outra cobre. As guardas sozinhas não são suficientes: o modelo pode gerar conteúdo problemático mesmo a partir de um prompt inofensivo, e a análise de entrada não consegue antecipar tudo. A moderação sozinha também não é suficiente: deteta problemas após o facto, nunca impedindo o modelo de processar pedidos maliciosos ou de desperdiçar tempo de computação com eles.

Combinadas, formam uma defesa em profundidade: a filtragem de entrada é proativa, a filtragem de saída é reativa e o conteúdo perigoso tem de passar por ambas para chegar ao utilizador. É esta redundância, e não a perfeição de um único filtro, que torna a arquitetura robusta.

A Sua Responsabilidade Enquanto Programador

O quadro regulamentar europeu impõe obrigações concretas ao abrigo da Lei da IA e do RGPD (Regulamento Geral sobre a Proteção de Dados). Deve garantir a transparência, ou seja, informar os utilizadores de que estão a interagir com uma IA, e a rastreabilidade, mantendo registos de moderação utilizáveis durante uma auditoria. Aplica-se também a proporcionalidade: os limiares de segurança para um assistente destinado a profissionais de saúde não podem ser os mesmos de um chatbot para consumidores, e deve ser capaz de justificar a sua escolha. Por fim, a proteção de dados proíbe o processamento de PII sem uma base legal, inclusive nos seus registos de moderação.

Neste curso, aprenderá a implementar estas duas linhas de defesa com a API da Mistral, a configurar os seus limiares e a construir uma arquitetura de segurança completa para as suas aplicações em produção.

Pontos-chave

  • Os LLM em produção exigem mecanismos de segurança
  • A Mistral oferece duas abordagens complementares: guardas (antes) e moderação (depois)
  • É responsável pelo conteúdo gerado pela sua aplicação
  • A segurança da IA não é opcional — é uma obrigação legal e ética