Salt la conținutul principal
Română— Alege o limbă
Meniu

De ce să vă securizați aplicațiile AI

Lecția 1 din 12 Actualizată 3 noiembrie 2026 Dezvoltator
Pe această pagină
  1. Securitatea AI: O provocare critică în 2026
  2. Cele trei tipuri de riscuri
  3. Abordarea Mistral: Două linii de apărare
  4. De ce sunt necesare ambele
  5. Responsabilitatea dvs. ca dezvoltator
  6. Puncte cheie

Actualizat la 2 noiembrie 2026 — Modele. Mistral Large 3 (mistral-large-2512) și Mistral Medium 3.5 au fost depreciate la 31 octombrie 2026 și vor fi retrase la 30 aprilie 2027. Succesorul lor desemnat, Mistral Large 4 (mistral-large-4), se află în previzualizare publică din 6 octombrie. Exemplele din acest curs utilizează aliasul mistral-large-latest, care indică în prezent către Mistral Large 3 conform specificației oficiale (verificat la 3 noiembrie 2026). În mod similar, mistral-medium-latest indică către Mistral Medium 3.5. Aceste aliasuri vor rămâne valabile până la 30 aprilie 2027. Pentru noile proiecte, testați mistral-large-4, succesorul lor desemnat.

Corectat la 3 noiembrie 2026. Exemplul de gardă de securitate folosea anterior un format inventat (guardrails={"enabled": True}). Parametrul oficial este o listă de configurații moderation_llm_v2, detaliate în lecția următoare. Două cifre fără sursă („78% dintre companii“ și „latență mai mică de 50ms“) au fost eliminate: Mistral nu publică metrici de latență pentru gărzile sale de securitate. Surse: Moderare și Gărzi de securitate · SDK mistralai 3.7.0.

Securitatea AI: O provocare critică în 2026

Lansarea unui model lingvistic în producție fără mecanisme de securitate este echivalentă cu lansarea unui serviciu web fără firewall. Modelele lingvistice mari (LLM) sunt instrumente puternice, dar pot genera conținut inadecvat, pot scurge date sensibile sau pot fi manipulate de utilizatori rău-intenționați. Aceasta nu este o problemă teoretică: se manifestă în primele câteva mii de cereri reale, imediat ce utilizatorii dvs. ies din scenariile pe care vi le-ați imaginat.

Ca dezvoltator, sunteți direct responsabil pentru ceea ce produce aplicația dvs. AI. Dacă chatbot-ul dvs. generează sfaturi medicale periculoase sau conținut instigator la ură, compania dvs. suportă consecințele – legale, de reputație și financiare. Nimeni nu va întreba dacă modelul provine de la un furnizor terț.

2
Linii de apărare: gărzi de securitate la intrare, moderare la ieșire
11
Categorii de risc acoperite de Mistral
403
Cod de stare HTTP pentru gărzile de securitate blocate
0 la 1
Interval de prag, ajustabil pe categorie

Cele trei tipuri de riscuri

Primul risc este generarea de conținut inadecvat. Modelul poate produce conținut violent, sexual, discriminatoriu sau periculos, chiar și fără intenții rău-intenționate din partea utilizatorului. Un simplu prompt ambiguu este suficient pentru a declanșa un răspuns problematic: întrebați un asistent culinar cum să „neutralizeze“ un ingredient și veți vedea că linia este mai subțire decât vă așteptați.

Al doilea risc provine din manipularea utilizatorului, cunoscută și sub numele de injectare de prompturi (prompt injection). Utilizatorii rău-intenționați încearcă să ocolească instrucțiunile sistemului pentru a forța modelul să producă conținut interzis. Tehnicile de „jailbreak“ evoluează constant, se răspândesc pe forumuri în câteva ore și necesită apărări pe mai multe niveluri, nu o simplă listă de cuvinte interzise.

Al treilea risc este scurgerea de date sensibile. Modelul poate revela inadvertent informații personale identificabile (PII), secrete injectate în context sau date confidențiale prezente în setul său de antrenament. Gândiți-vă la un asistent HR întrebat inocent: „Ce conține dosarul Mariei?“. Cererea nu este agresivă, totuși rezultatul reprezintă o încălcare a datelor.

Abordarea Mistral: Două linii de apărare

Mistral abordează aceste riscuri prin două straturi complementare: unul în amonte, unul în aval. Primul, Gărzile de securitate personalizate (Custom Guardrails), analizează promptul utilizatorului înainte ca acesta să ajungă la model. Dacă conținutul este considerat periculos, cererea este blocată cu o eroare 403 – modelul nu vede niciodată promptul și nu generează nimic pe baza lui.

# Promptul este analizat ÎNAINTE ca modelul să fie apelat
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": prompt}],
    guardrails=[  # Prima linie de apărare
        {
            "block_on_error": True,
            "moderation_llm_v2": {
                "custom_category_thresholds": {"jailbreaking": 0.3},
                "action": "block",
            },
        }
    ],
)

Al doilea strat, API-ul de Moderare, funcționează în direcția opusă: analizează conținutul după generare pentru a atribui scoruri de risc pe categorii. Spre deosebire de gărzile de securitate, acesta nu ia decizii în locul dvs. Dvs. recuperați scorurile și decideți ce să faceți în continuare: afișați, ascundeți, semnalați sau blocați.

# Conținutul generat este analizat DUPĂ generare
moderation = client.classifiers.moderate_chat(
    model="mistral-moderation-2603",
    inputs=[
        {"role": "user", "content": prompt},
        {"role": "assistant", "content": texte_genere},  # textul răspunsului
    ],
)

De ce sunt necesare ambele

Fiecare strat are un punct orb pe care celălalt îl acoperă. Gărzile de securitate singure nu sunt suficiente: modelul poate genera conținut problematic chiar și dintr-un prompt inofensiv, iar analiza la intrare nu poate anticipa totul. Nici moderarea singură nu este suficientă: detectează problemele post-factum, fără a preveni vreodată modelul să proceseze cereri malițioase sau să irosească timp de calcul pentru acestea.

Combinate, ele formează o apărare în profunzime: filtrarea la intrare este proactivă, filtrarea la ieșire este reactivă, iar conținutul periculos trebuie să treacă prin ambele pentru a ajunge la utilizator. Această redundanță, nu perfecțiunea unui singur filtru, este cea care face arhitectura robustă.

Responsabilitatea dvs. ca dezvoltator

Cadrul de reglementare european impune obligații concrete în temeiul AI Act și al GDPR (Regulamentul General privind Protecția Datelor). Trebuie să asigurați transparența, adică să informați utilizatorii că interacționează cu un AI, și trasabilitatea, păstrând jurnalele de moderare utilizabile în timpul unui audit. Se aplică și proporționalitatea: pragurile de securitate pentru un asistent conceput pentru profesioniștii din sănătate nu pot fi aceleași cu cele pentru un chatbot destinat consumatorilor, iar dvs. trebuie să puteți justifica alegerea făcută. În final, protecția datelor interzice procesarea PII fără o bază legală, inclusiv în jurnalele dvs. de moderare.

În acest curs, veți învăța să implementați aceste două linii de apărare cu API-ul Mistral, să vă configurați pragurile și să construiți o arhitectură de securitate completă pentru aplicațiile dvs. de producție.

Puncte cheie

  • LLM-urile în producție necesită mecanisme de securitate
  • Mistral oferă două abordări complementare: gărzi de securitate (înainte) și moderare (după)
  • Sunteți responsabil pentru conținutul generat de aplicația dvs.
  • Securitatea AI nu este opțională – este o obligație legală și etică