Zakaj zavarovati svoje aplikacije z umetno inteligenco
Na tej strani
Posodobljeno 2. novembra 2026 — Modeli. Mistral Large 3 (
mistral-large-2512) in Mistral Medium 3.5 sta bila 31. oktobra 2026 umaknjena iz uporabe, dokončno pa bosta upokojena 30. aprila 2027. Njun predvideni naslednik, Mistral Large 4 (mistral-large-4), je v javnem predogledu od 6. oktobra. Primeri v tem tečaju uporabljajo vzdevekmistral-large-latest, ki trenutno kaže na Mistral Large 3 v skladu z njegovo uradno specifikacijo (preverjeno 3. novembra 2026). Podobnomistral-medium-latestkaže na Mistral Medium 3.5. Ti vzdevki bodo veljavni do 30. aprila 2027. Za nove projekte preizkusitemistral-large-4, njunega predvidenega naslednika.
Popravljeno 3. novembra 2026. Primer zaščitne ograje je prej uporabljal izmišljen format (
guardrails={"enabled": True}). Uradni parameter je seznam konfiguracijmoderation_llm_v2, podrobneje opisanih v naslednji lekciji. Dve številki brez vira (“78 % podjetij” in “manj kot 50 ms zakasnitve”) sta bili odstranjeni: Mistral ne objavlja metrik zakasnitve za svoje zaščitne ograje. Viri: Moderacija in zaščitne ograje · SDKmistralai3.7.0.
Varnost umetne inteligence: Ključni izziv leta 2026
Uvedba jezikovnega modela v proizvodno okolje brez varnostnih mehanizmov je enaka zagonu spletne storitve brez požarnega zidu. Veliki jezikovni modeli (LLM) so zmogljiva orodja, vendar lahko ustvarjajo neustrezne vsebine, razkrijejo občutljive podatke ali pa jih zlonamerni uporabniki manipulirajo. To ni teoretičen problem: pojavi se že v prvih nekaj tisočih realnih zahtevah, takoj ko vaši uporabniki stopijo izven scenarijev, ki ste si jih zamislili.
Kot razvijalec ste neposredno odgovorni za to, kar proizvede vaša aplikacija z umetno inteligenco. Če vaš klepetalni bot ustvari nevarne zdravniške nasvete ali sovražne vsebine, posledice nosi vaše podjetje – pravne, reputacijske in finančne. Nihče ne bo vprašal, ali model prihaja od ponudnika tretje strani.
Tri vrste tveganj
Prvo tveganje je ustvarjanje neustreznih vsebin. Model lahko proizvede nasilne, seksualne, diskriminatorne ali nevarne vsebine, tudi brez zlonamernega namena uporabnika. Dovolj je že preprost dvoumen poziv, da sproži problematičen odgovor: vprašajte kulinaričnega asistenta, kako „nevtralizirati” sestavino, in videli boste, da je meja tanjša, kot pričakujete.
Drugo tveganje izvira iz manipulacije uporabnika, znane tudi kot vbrizgavanje pozivov (prompt injection). Zlonamerni uporabniki poskušajo obiti sistemska navodila in prisiliti model k ustvarjanju prepovedanih vsebin. Tehnike preboja (jailbreak) se nenehno razvijajo, se v nekaj urah razširijo po forumih in zahtevajo večplastno obrambo, ne le preprostega seznama prepovedanih besed.
Tretje tveganje je puščanje občutljivih podatkov. Model lahko nehote razkrije osebne podatke (PII), skrivnosti, vbrizgane v kontekst, ali zaupne podatke, prisotne v njegovem učnem naboru. Pomislite na kadrovskega asistenta, ki ga nedolžno vprašate: „Kaj je v Marijini mapi?” Zahteva ni agresivna, vendar je rezultat kršitev podatkov.
Pristop Mistrala: Dve liniji obrambe
Mistral obravnava ta tveganja z dvema komplementarnima plastema: eno pred obdelavo in eno po njej. Prva, prilagojene zaščitne ograje (Custom Guardrails), analizira uporabnikov poziv preden ta doseže model. Če se vsebina oceni kot nevarna, se zahteva blokira s napako 403 – model poziva nikoli ne vidi in iz njega ne ustvari ničesar.
# Poziv je analiziran PRED modelom
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": prompt}],
guardrails=[ # Prva linija obrambe
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": {"jailbreaking": 0.3},
"action": "block",
},
}
],
)
Druga plast, API za moderacijo, deluje v nasprotni smeri: analizira vsebino po generiranju, da dodeli ocene tveganja po kategorijah. Za razliko od zaščitnih ograj namesto vas ne sprejema odločitev. Pridobite ocene in se sami odločite, kaj storiti naprej: prikazati, skriti, označiti ali blokirati.
# Ustvarjena vsebina je analizirana PO generiranju
moderation = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
{"role": "user", "content": prompt},
{"role": "assistant", "content": texte_genere}, # besedilo odgovora
],
)
Zakaj sta obe potrebni
Vsaka plast ima slepo liso, ki jo pokriva druga. Same zaščitne ograje niso dovolj: model lahko ustvari problematično vsebino tudi iz neškodljivega poziva, analiza vhoda pa ne more predvideti vsega. Sama moderacija prav tako ni dovolj: težave zazna naknadno in nikoli ne prepreči modelu, da bi obdelal zlonamerne zahteve ali porabil računalniške vire zanje.
V kombinaciji tvorita obrambo v globino: filtriranje vhoda je proaktivno, filtriranje izhoda pa reaktivno. Nevarna vsebina mora prestati obe preveri, preden doseže uporabnika. Prav ta redundanca, ne pa popolnost enega samega filtra, naredi arhitekturo robustno.
Vaša odgovornost kot razvijalca
Evropski regulativni okvir nalaga konkretne obveznosti v skladu z aktom o umetni inteligenci (AI Act) in splošno uredbo o varstvu podatkov (GDPR). Zagotoviti morate preglednost, kar pomeni, da uporabnike obvestite, da komunicirajo z umetno inteligenco, in sledljivost z vodenjem dnevnikov moderacije, uporabnih med revizijo. Velja tudi načelo sorazmernosti: varnostni pragovi za asistenta, namenjenega zdravstvenim delavcem, ne morejo biti enaki kot za potrošniški klepetalni bot, svojo izbiro pa morate znati utemeljiti. Nazadnje varstvo podatkov prepoveduje obdelavo osebnih podatkov brez pravne podlage, vključno z vašimi dnevniki moderacije.
V tem tečaju se boste naučili implementirati ti dve liniji obrambe z API-jem Mistral, konfigurirati svoje pragove in zgraditi popolno varnostno arhitekturo za svoje proizvodne aplikacije.
Ključne ugotovitve
- LLM-ji v proizvodnem okolju zahtevajo varnostne mehanizme
- Mistral ponuja dva komplementarna pristopa: zaščitne ograje (pred) in moderacijo (po)
- Odgovorni ste za vsebino, ki jo ustvari vaša aplikacija
- Varnost umetne inteligence ni izbira – je pravna in etična obveznost