Kāpēc nodrošināt savu AI lietotņu drošību
Šajā lapā
Atjaunināts 2026. gada 2. novembrī — Modeļi. Mistral Large 3 (
mistral-large-2512) un Mistral Medium 3.5 tika deprecēti 2026. gada 31. oktobrī un tiks izslēgti 2027. gada 30. aprīlī. To noteiktais pēctecis, Mistral Large 4 (mistral-large-4), kopš 6. oktobra ir publiskā priekšskatījumā. Šī kursa piemēros tiek izmantots aliasmistral-large-latest, kas pašlaik norāda uz Mistral Large 3 saskaņā ar tā oficiālo specifikāciju (pārbaudīts 2026. gada 3. novembrī). Līdzīgi,mistral-medium-latestnorāda uz Mistral Medium 3.5. Šie aliasi paliks spēkā līdz 2027. gada 30. aprīlim. Jauniem projektiem testējietmistral-large-4, to noteikto pēcteci.
Labots 2026. gada 3. novembrī. Iepriekšējais aizsardzības barjeru piemērs izmantoja izgudrotu formātu (
guardrails={"enabled": True}). Oficiālais parametrs ir saraksts armoderation_llm_v2konfigurācijām, kas detalizēti aprakstītas nākamajā nodarbībā. Divi bez atsauces minētie skaitļi (“78% uzņēmumu” un “mazāk par 50 ms latentums”) ir dzēsti: Mistral nepublicē latentuma metrikas savām aizsardzības barjerām. Avoti: Moderācija un aizsardzības barjeras ·mistralaiSDK 3.7.0.
AI drošība: Kritiska izaicinājuma 2026. gadā
Valodas modeļa izvietošana produkcijas vidē bez drošības mehānismiem ir līdzīga tīmekļa servisa palaišanai bez ugunsmūra. Lielie valodas modeļi (LLM) ir spēcīgi rīki, taču tie var ģenerēt nepiemērotu saturu, nopludināt sensitīvus datus vai ļaunprātīgu lietotāju manipulāciju rezultātā tikt izmanipulēti. Tā nav tikai teorētiska problēma: tā izpaužas jau pirmajos dažos tūkstošos reālo pieprasījumu, tiklīdz jūsu lietotāji izkāpj no jūsu iedomātajiem scenārijiem.
Kā izstrādātājs tu esi tieši atbildīgs par to, ko ražo tava AI lietotne. Ja tava čatbota ģenerē bīstamus medicīniskus padomus vai naida saturu, sekas uzņemas tavs uzņēmums — juridiskas, reputācijas un finansiālas. Neviens nejautās, vai modelis nāca no trešās puses sniedzēja.
Trīs risku veidi
Pirmais risks ir ģenerēts nepiemērots saturs. Modelis var radīt vardarbīgu, seksuālu, diskriminējošu vai bīstamu saturu, pat ja lietotājam nav ļaunu nodomu. Pietiek ar vienkāršu neskaidru uzvedni, lai izraisītu problemātisku atbildi: pajautā kulinārijas asistentam, kā “neitralizēt” sastāvdaļu, un tu redzēsi, ka robeža ir smalkāka, nekā šķita.
Otrais risks nāk no lietotāju manipulācijas, kas pazīstama arī kā uzvednes injicēšana (prompt injection). Ļaunprātīgi lietotāji mēģina apiet sistēmas instrukcijas, lai piespiestu modeli ģenerēt aizliegtu saturu. “Jailbreak” tehnikas nepārtraukti attīstās, forumos izplatās stundu laikā un prasa daudzlīmeņu aizsardzību, nevis vienkāršu aizliegto vārdu sarakstu.
Trešais risks ir sensitīvu datu noplūde. Modelis var nejauši atklāt personiski identificējamu informāciju (PII), kontekstā ievadītus noslēpumus vai konfidenciālus datus, kas bija tā apmācības kopā. Iedomājies HR asistentu, kam nevainīgi jautā: “Kas ir Marijas lietā?” Pieprasījums nav agresīvs, tomēr rezultāts ir datu pārkāpums.
Mistral pieeja: Divas aizsardzības līnijas
Mistral risina šos riskus ar diviem papildinošiem slāņiem: vienu augšupplūsmā, otru lejupplūsmā. Pirmais, pielāgotas aizsardzības barjeras (Custom Guardrails), analizē lietotāja uzvedni pirms tā nonāk pie modeļa. Ja saturs tiek uzskatīts par bīstamu, pieprasījums tiek bloķēts ar 403 kļūdu — modelis nekad neredz uzvedni un no tās neko neģenerē.
# Uzvedne tiek analizēta PIRMS modeļa
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": prompt}],
guardrails=[ # Pirmā aizsardzības līnija
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": {"jailbreaking": 0.3},
"action": "block",
},
}
],
)
Otrais slānis, Moderācijas API, strādā pretējā virzienā: tas analizē saturu pēc ģenerēšanas, lai piešķirtu riska rezultātus pa kategorijām. Atšķirībā no aizsardzības barjerām, tas nepieņem lēmumus tavā vietā. Tu saņem rezultātus un lemj, ko darīt tālāk: rādīt, slēpt, atzīmēt vai bloķēt.
# Ģenerētais saturs tiek analizēts PĒC ģenerēšanas
moderation = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
{"role": "user", "content": prompt},
{"role": "assistant", "content": texte_genere}, # atbildes teksts
],
)
Kāpēc abi ir nepieciešami
Katram slānim ir aklo zona, ko otrs nosedz. Ar vienīgām aizsardzības barjerām nepietiek: modelis var ģenerēt problemātisku saturu pat no nekaitīgas uzvednes, un ievades analīze nevar paredzēt visu. Arī tikai moderācija nepietiek: tā konstatē problēmas pēc fakta, nekad nepieļaujot, ka modelis apstrādātu ļaunprātīgus pieprasījumus vai tērētu aprēķina resursus tiem.
Kombinējot tie veido dziļo aizsardzību (defense in depth): ievades filtrēšana ir proaktīva, izvades filtrēšana ir reaktīva, un bīstamam saturam ir jāiziet cauri abiem, lai sasniegtu lietotāju. Tieši šī redundance, nevis viena filtra pilnība, padara arhitektūru robustu.
Tava atbildība kā izstrādātājam
Eiropas regulatīvais ietvars uzliek konkrētus pienākumus saskaņā ar AI aktu un VDAR (Vispārīgā datu aizsardzības regula). Tev ir jānodrošina pārredzamība, tas nozīmē, ka tu informē lietotājus, ka viņi mijiedarbojas ar AI, un izsekojamība, uzturot moderācijas žurnālus, kas lietojami revīzijas laikā. Piemērota ir arī samērīguma prasība: drošības sliekšņi asistentam, kas paredzēts veselības aprūpes speciālistiem, nevar būt tādi paši kā patērētāju čatbotam, un tev ir jāspēj attaisnot savu izvēli. Visbeidzot, datu aizsardzība aizliedz apstrādāt PII bez juridiska pamata, tostarp tavos moderācijas žurnālos.
Šajā kursā tu iemācīsies ieviest šīs divas aizsardzības līnijas, izmantojot Mistral API, konfigurēt savus sliekšņus un izveidot pilnīgu drošības arhitektūru savām produkcijas lietotnēm.
Galvenās atziņas
- LLM produkcijas vidē prasa drošības mehānismus
- Mistral piedāvā divas papildinošas pieejas: aizsardzības barjeras (pirms) un moderāciju (pēc)
- Tu esi atbildīgs par satura, ko ģenerē tava lietotne
- AI drošība nav izvēles iespēja — tā ir juridiska un ētiska prasība