Proč zabezpečit své aplikace s umělou inteligencí
Na této stránce
Aktualizováno 2. listopadu 2026 — Modely. Mistral Large 3 (
mistral-large-2512) a Mistral Medium 3.5 byly 31. října 2026 vyřazeny z provozu a k 30. dubnu 2027 budou zcela odstaveny. Jejich nástupcem je Mistral Large 4 (mistral-large-4), který je ve veřejném náhledu od 6. října. Příklady v tomto kurzu používají aliasmistral-large-latest, který podle oficiální specifikace (ověřeno 3. listopadu 2026) aktuálně odkazuje na Mistral Large 3. Podobněmistral-medium-latestodkazuje na Mistral Medium 3.5. Tyto aliasy zůstanou platné do 30. dubna 2027. Pro nové projekty otestujmistral-large-4, jejich určeného nástupce.
Opraveno 3. listopadu 2026. Příklad ochranných zábran dříve používal vymyšlený formát (
guardrails={"enabled": True}). Oficiálním parametrem je seznam konfiguracímoderation_llm_v2, podrobně popsaný v další lekci. Dva nepodložené údaje („78 % společností“ a „latence nižší než 50 ms“) byly odstraněny: Mistral nezveřejňuje metriky latence pro své ochranné zábrany. Zdroje: Moderation & Guardrailing · SDKmistralai3.7.0.
Zabezpečení AI: Kritická výzva roku 2026
Nasazení jazykového modelu do produkce bez bezpečnostních mechanismů je jako spuštění webové služby bez firewallu. Velké jazykové modely (LLM) jsou mocné nástroje, ale mohou generovat nevhodný obsah, unikat citlivá data nebo být manipulovány škodlivými uživateli. Není to teoretický problém: projeví se během prvních několika tisíc reálných požadavků, jakmile vaši uživatelé vykročí ze scénářů, které jste si představovali.
Jako vývojář jsi přímo odpovědný za to, co tvoje aplikace s umělou inteligencí vyprodukuje. Pokud tvůj chatbot generuje nebezpečné lékařské rady nebo nenávistný obsah, nese důsledky tvoje společnost – právní, reputační i finanční. Nikdo se nebude ptát, zda model pochází od externího poskytovatele.
Tři typy rizik
Prvním rizikem je generování nevhodného obsahu. Model může produkovat násilný, sexuálně explicitní, diskriminační nebo nebezpečný obsah, a to i bez zlých úmyslů ze strany uživatele. K vyvolání problematické odpovědi stačí jednoduchá nejednoznačná výzva: zeptej se kulinářského asistenta, jak „neutralizovat“ ingredienci, a uvidíš, že hranice je tenčí, než se zdá.
Druhé riziko plyne z manipulace uživatelem, známé také jako vstřikování příkazů (prompt injection). Škodliví uživatelé se snaží obejít systémové instrukce a donutit model k produkci zakázaného obsahu. Techniky prolomení ochrany (jailbreak) se neustále vyvíjejí, během hodin se šíří po fórech a vyžadují vícevrstvou obranu, nikoliv jen jednoduchý seznam zakázaných slov.
Třetím rizikem je únik citlivých dat. Model může neúmyslně odhalit osobní údaje (PII), tajemství vložená do kontextu nebo důvěrná data přítomná v jeho tréninkové sadě. Představ si asistenta pro lidské zdroje, kterého někdo nevinně požádá: „Co je ve spise Marie?“ Žádost není agresivní, přesto výsledkem je únik dat.
Přístup Mistralu: Dvě linie obrany
Mistral řeší tato rizika dvěma doplňkovými vrstvami: jednou vstupní a druhou výstupní. První, vlastní ochranné zábrany (Custom Guardrails), analyzuje výzvu uživatele předtím, než se dostane k modelu. Pokud je obsah shledán nebezpečným, je požadavek zablokován chybou 403 – model výzvu nikdy neuvidí a nic na jejím základě nevygeneruje.
# Výzva je analyzována PŘED modelem
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": prompt}],
guardrails=[ # První linie obrany
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": {"jailbreaking": 0.3},
"action": "block",
},
}
],
)
Druhá vrstva, API pro moderování, funguje opačným směrem: analyzuje obsah po vygenerování a přiřazuje mu skóre rizika podle kategorií. Na rozdíl od ochranných zábran za tebe nerozhoduje. Získáš skóre a sám rozhodneš, co dál: obsah zobrazit, skrýt, označit příznakem nebo zablokovat.
# Vygenerovaný obsah je analyzován PO generování
moderation = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
{"role": "user", "content": prompt},
{"role": "assistant", "content": texte_genere}, # text odpovědi
],
)
Proč jsou nutné obě vrstvy
Každá vrstva má slepé místo, které ta druhá pokrývá. Samotné ochranné zábrany nestačí: model může vygenerovat problematický obsah i z neškodné výzvy a analýza vstupu nedokáže předvídat vše. Ani samotné moderování nestačí: detekuje problémy až dodatečně a nikdy nezabrání modelu ve zpracování škodlivých požadavků ani plýtvání výpočetním časem na ně.
V kombinaci tvoří obranu do hloubky: filtrování vstupů je proaktivní, filtrování výstupů reaktivní a nebezpečný obsah musí projít oběma, aby se dostal k uživateli. Právě tato redundance, nikoliv dokonalost jediného filtru, činí architekturu robustní.
Tvá odpovědnost jako vývojáře
Evropský regulační rámec ukládá konkrétní povinnosti v rámci nařízení o umělé inteligenci (AI Act) a obecného nařízení o ochraně osobních údajů (GDPR). Musíš zajistit transparentnost, což znamená informovat uživatele, že komunikují s umělou inteligencí, a vysledovatelnost tím, že budeš uchovávat protokoly o moderování použitelné při auditu. Platí také zásada proporcionality: bezpečnostní prahy pro asistenta určeného zdravotníkům nemohou být stejné jako pro spotřebitelský chatbot a musíš být schopen svou volbu obhájit. Nakonec ochrana dat zakazuje zpracovávat osobní údaje bez právního základu, a to ani v tvých protokolech o moderování.
V tomto kurzu se naučíš implementovat tyto dvě linie obrany pomocí API Mistral, nakonfigurovat své prahy a vybudovat kompletní bezpečnostní architekturu pro své produkční aplikace.
Klíčové poznatky
- LLM v produkci vyžadují bezpečnostní mechanismy
- Mistral nabízí dva doplňkové přístupy: ochranné zábrany (před) a moderování (po)
- Jsi odpovědný za obsah generovaný tvou aplikací
- Zabezpečení AI není volitelné – je to právní a etická povinnost