Prečo zabezpečiť svoje aplikácie s umelou inteligenciou
Na tejto strane
Aktualizované 2. novembra 2026 — Modely. Mistral Large 3 (
mistral-large-2512) a Mistral Medium 3.5 boli vyradené z prevádzky 31. októbra 2026 a úplne sa odstavia 30. apríla 2027. Ich nástupca, Mistral Large 4 (mistral-large-4), je vo verejnej náhľade od 6. októbra. Príklady v tomto kurze používajú aliasmistral-large-latest, ktorý aktuálne odkazuje na Mistral Large 3 podľa jeho oficiálnej špecifikácie (overené 3. novembra 2026). Podobnemistral-medium-latestodkazuje na Mistral Medium 3.5. Tieto aliasy zostanú platné do 30. apríla 2027. Pre nové projekty otestujmistral-large-4, ich určeného nástupcu.
Opravené 3. novembra 2026. Príklad ochranného mechanizmu predtým používal vymyslený formát (
guardrails={"enabled": True}). Oficiálnym parametrom je zoznam konfiguráciímoderation_llm_v2, ktoré sú podrobne popísané v nasledujúcej lekcii. Dva neoverené údaje („78 % spoločností“ a „latencia menej ako 50 ms“) boli odstránené: Mistral nezverejňuje metriky latencie pre svoje ochranné mechanizmy. Zdroje: Moderácia a ochranné mechanizmy · SDKmistralai3.7.0.
Bezpečnosť umelej inteligencie: Kritická výzva roku 2026
Nasadenie jazykového modelu do produkcie bez bezpečnostných mechanizmov je ako spustenie webovej služby bez firewallu. Veľké jazykové modely (LLM) sú síce výkonné nástroje, no dokážu generovať nevhodný obsah, unikať citlivé údaje alebo byť manipulované zlomyseľnými používateľmi. Nie je to teoretický problém: prejaví sa už počas prvých niekoľkých tisíc reálnych požiadaviek, hneď ako tvoji používatelia vykročia zo scenárov, ktoré si si predstavoval.
Ako vývojár nesieš priamu zodpovednosť za to, čo tvoja aplikácia s umelou inteligenciou vyprodukuje. Ak tvoj chatbot vygeneruje nebezpečné lekárske rady alebo nenávistný obsah, následky znáša tvoja spoločnosť – právne, reputačné aj finančné. Nikto sa nebude pýtať, či model pochádza od externého poskytovateľa.
Tri typy rizík
Prvým rizikom je generovanie nevhodného obsahu. Model môže produkovať násilný, sexuálny, diskriminačný alebo nebezpečný obsah, aj keď používateľ nemá zlomyseľný úmysel. Na vyvolanie problematickej odpovede stačí jednoduchá nejednoznačná výzva: opýtaj sa kulinárskeho asistenta, ako „neutralizovať“ ingredienciu, a uvidíš, že hranica je tenšia, než sa zdá.
Druhé riziko pramení z manipulácie používateľom, známej aj ako vstrekovanie výziev (prompt injection). Zlomyseľní používatelia sa snažia obísť systémové inštrukcie a prinútiť model vyprodukovať zakázaný obsah. Techniky prelomenia ochrany (jailbreak) sa neustále vyvíjajú, šíria sa po fórach v priebehu hodín a vyžadujú si viacvrstvovú obranu, nie len jednoduchý zoznam zakázaných slov.
Tretím rizikom je únik citlivých údajov. Model môže neúmyselne odhaliť osobné údaje (PII), tajomstvá vložené do kontextu alebo dôverné údaje prítomné v jeho trénovacej množine. Predstav si asistenta pre ľudské zdroje, ktorého sa niekto nevinne opýta: „Čo je vo spise Márie?“ Požiadavka nie je agresívna, no výsledkom je únik údajov.
Prístup Mistral: Dve línie obrany
Mistral rieši tieto riziká pomocou dvoch doplnkových vrstiev: jednej pred a jednej po spracovaní. Prvá, vlastné ochranné mechanizmy (Custom Guardrails), analyzuje výzvu používateľa skôr, než sa dostane k modelu. Ak sa obsah vyhodnotí ako nebezpečný, požiadavka sa zablokuje chybou 403 – model výzvu nikdy neuvidí a nič na jej základe nevygeneruje.
# Výzva sa analyzuje PRED modelom
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": prompt}],
guardrails=[ # Prvá línia obrany
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": {"jailbreaking": 0.3},
"action": "block",
},
}
],
)
Druhá vrstva, API pre moderáciu, funguje opačným smerom: analyzuje obsah po vygenerovaní a priraďuje mu rizikové skóre podľa kategórií. Na rozdiel od ochranných mechanizmov za teba nerobí rozhodnutia. Získaš skóre a sám sa rozhodneš, čo ďalej: obsah zobraziť, skryť, označiť alebo zablokovať.
# Vygenerovaný obsah sa analyzuje PO generovaní
moderation = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
{"role": "user", "content": prompt},
{"role": "assistant", "content": texte_genere}, # text odpovede
],
)
Prečo sú potrebné obe
Každá vrstva má slepé miesto, ktoré tá druhá pokrýva. Samotné ochranné mechanizmy nestačia: model môže vygenerovať problematický obsah aj z neškodnej výzvy a analýza vstupu nedokáže predvídať všetko. Ani samotná moderácia nestačí: problémy odhalí až dodatočne, nikdy nezabráni modelu spracovať zlomyseľné požiadavky ani plytvaniu výpočtovým časom na ne.
V kombinácii tvoria obranu do hĺbky: filtrovanie vstupov je proaktívne, filtrovanie výstupov reaktívne a nebezpečný obsah sa musí dostať cez obe vrstvy, aby sa dostal k používateľovi. Práve táto redundancia, nie dokonalosť jedného filtra, robí architektúru odolnou.
Tvoja zodpovednosť ako vývojára
Európsky regulačný rámec ukladá konkrétne povinnosti podľa nariadenia o umelej inteligencii (AI Act) a všeobecného nariadenia o ochrane údajov (GDPR). Musíš zabezpečiť transparentnosť, čo znamená informovať používateľov, že komunikujú s umelou inteligenciou, a vysledovateľnosť tým, že budeš uchovávať záznamy o moderácii použiteľné počas auditu. Platí aj zásada proporcionality: bezpečnostné prahy pre asistenta určeného zdravotníckym pracovníkom nemôžu byť rovnaké ako pre spotrebiteľský chatbot a musíš vedieť svoju voľbu obhájiť. Nakoniec, ochrana údajov zakazuje spracúvať osobné údaje bez právneho základu, a to aj v tvojich záznamoch o moderácii.
V tomto kurze sa naučíš implementovať tieto dve línie obrany pomocou API Mistral, nakonfigurovať svoje prahové hodnoty a vybudovať kompletnú bezpečnostnú architektúru pre svoje produkčné aplikácie.
Kľúčové poznatky
- LLM v produkcii vyžadujú bezpečnostné mechanizmy
- Mistral ponúka dva doplnkové prístupy: ochranné mechanizmy (pred) a moderáciu (po)
- Za obsah generovaný tvojou aplikáciou zodpovedáš ty
- Bezpečnosť umelej inteligencie nie je voliteľná – je to právna a etická povinnosť