Perché mettere in sicurezza le tue applicazioni AI
In questa pagina
Aggiornato il 2 novembre 2026 — Modelli. Mistral Large 3 (
mistral-large-2512) e Mistral Medium 3.5 sono stati deprecati il 31 ottobre 2026 e verranno ritirati il 30 aprile 2027. Il loro successore designato, Mistral Large 4 (mistral-large-4), è in anteprima pubblica dal 6 ottobre. Gli esempi in questo corso utilizzano l’aliasmistral-large-latest, che punta attualmente a Mistral Large 3 secondo le sue specifiche ufficiali (verificato il 3 novembre 2026). Analogamente,mistral-medium-latestpunta a Mistral Medium 3.5. Questi alias rimarranno validi fino al 30 aprile 2027. Per i nuovi progetti, testamistral-large-4, il loro successore designato.
Corretto il 3 novembre 2026. L’esempio di guardrail utilizzava precedentemente un formato inventato (
guardrails={"enabled": True}). Il parametro ufficiale è una lista di configurazionimoderation_llm_v2, dettagliate nella prossima lezione. Due cifre non citate (“78% delle aziende” e “latenza inferiore a 50ms”) sono state rimosse: Mistral non pubblica metriche di latenza per i suoi guardrail. Fonti: Moderation & Guardrailing · SDKmistralai3.7.0.
Sicurezza AI: Una sfida critica nel 2026
Implementare un modello linguistico in produzione senza meccanismi di sicurezza equivale a lanciare un servizio web senza firewall. I grandi modelli linguistici (LLM) sono strumenti potenti, ma possono generare contenuti inappropriati, perdere dati sensibili o essere manipolati da utenti malintenzionati. Non si tratta di un problema teorico: si manifesta entro le prime migliaia di richieste reali, non appena i tuoi utenti escono dagli scenari che avevi immaginato.
Come sviluppatore, sei direttamente responsabile di ciò che la tua applicazione AI produce. Se il tuo chatbot genera consigli medici pericolosi o contenuti d’odio, la tua azienda ne subisce le conseguenze: legali, reputazionali e finanziarie. Nessuno ti chiederà se il modello proviene da un fornitore terzo.
I tre tipi di rischi
Il primo rischio è la generazione di contenuti inappropriati. Il modello può produrre contenuti violenti, sessuali, discriminatori o pericolosi, anche senza intenzioni malevole da parte dell’utente. Basta un prompt ambiguo per innescare una risposta problematica: chiedi a un assistente culinario come “neutralizzare” un ingrediente e vedrai che la linea è più sottile del previsto.
Il secondo rischio deriva dalla manipolazione dell’utente, nota anche come prompt injection. Gli utenti malintenzionati tentano di aggirare le istruzioni di sistema per forzare il modello a produrre contenuti vietati. Le tecniche di jailbreak evolvono costantemente, si diffondono sui forum nel giro di ore e richiedono difese a più livelli, non una semplice lista di parole vietate.
Il terzo rischio è la fuga di dati sensibili. Il modello può rivelare involontariamente informazioni personali identificabili (PII), segreti iniettati nel contesto o dati confidenziali presenti nel suo set di addestramento. Pensa a un assistente HR a cui viene chiesto innocentemente: “Cosa c’è nel fascicolo di Marie?”. La richiesta non è aggressiva, ma il risultato è una violazione dei dati.
L’approccio Mistral: Due linee di difesa
Mistral affronta questi rischi con due livelli complementari: uno a monte, uno a valle. Il primo, i Custom Guardrails, analizza il prompt dell’utente prima che raggiunga il modello. Se il contenuto è considerato pericoloso, la richiesta viene bloccata con un errore 403: il modello non vede mai il prompt e non genera nulla.
# Il prompt viene analizzato PRIMA del modello
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": prompt}],
guardrails=[ # Prima linea di difesa
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": {"jailbreaking": 0.3},
"action": "block",
},
}
],
)
Il secondo livello, le API di Moderazione, funziona nella direzione opposta: analizza il contenuto dopo la generazione per assegnare punteggi di rischio per categoria. A differenza dei guardrail, non prende decisioni al posto tuo. Recuperi i punteggi e decidi cosa fare dopo: mostrare, nascondere, segnalare o bloccare.
# Il contenuto generato viene analizzato DOPO la generazione
moderation = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
{"role": "user", "content": prompt},
{"role": "assistant", "content": texte_genere}, # il testo di risposta
],
)
Perché sono necessari entrambi
Ogni livello ha un punto cieco che l’altro copre. I soli guardrail non bastano: il modello può generare contenuti problematici anche partendo da un prompt innocuo e l’analisi in input non può anticipare tutto. Anche la sola moderazione non basta: rileva i problemi a posteriori, senza mai impedire al modello di elaborare richieste malevole o di sprecare tempo di calcolo su di esse.
Combinati, formano una difesa in profondità: il filtraggio in input è proattivo, quello in output è reattivo e i contenuti pericolosi devono superare entrambi per raggiungere l’utente. È questa ridondanza, non la perfezione di un singolo filtro, a rendere l’architettura robusta.
La tua responsabilità di sviluppatore
Il quadro normativo europeo impone obblighi concreti nell’ambito dell’AI Act e del GDPR (Regolamento Generale sulla Protezione dei Dati). Devi garantire la trasparenza, informando gli utenti che stanno interagendo con un’IA, e la tracciabilità, conservando log di moderazione utilizzabili durante un audit. Si applica anche il principio di proporzionalità: le soglie di sicurezza per un assistente destinato a professionisti sanitari non possono essere le stesse di quelle per un chatbot consumer e devi essere in grado di giustificare la tua scelta. Infine, la protezione dei dati vieta il trattamento di PII senza una base giuridica, anche nei tuoi log di moderazione.
In questo corso imparerai a implementare queste due linee di difesa con le API Mistral, configurare le tue soglie e costruire un’architettura di sicurezza completa per le tue applicazioni in produzione.
Punti chiave
- Gli LLM in produzione richiedono meccanismi di sicurezza
- Mistral offre due approcci complementari: guardrail (prima) e moderazione (dopo)
- Sei responsabile dei contenuti generati dalla tua applicazione
- La sicurezza AI non è opzionale: è un obbligo legale ed etico