Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Proč zabezpečit své aplikace s umělou inteligencí

Lekce 1 z 12 Aktualizováno 3. listopadu 2026 Vývojář
Na této stránce
  1. Zabezpečení AI: Kritická výzva roku 2026
  2. Tři typy rizik
  3. Přístup Mistralu: Dvě linie obrany
  4. Proč jsou nutné obě vrstvy
  5. Tvá odpovědnost jako vývojáře
  6. Klíčové poznatky

Aktualizováno 2. listopadu 2026 — Modely. Mistral Large 3 (mistral-large-2512) a Mistral Medium 3.5 byly 31. října 2026 vyřazeny z provozu a k 30. dubnu 2027 budou zcela odstaveny. Jejich nástupcem je Mistral Large 4 (mistral-large-4), který je ve veřejném náhledu od 6. října. Příklady v tomto kurzu používají alias mistral-large-latest, který podle oficiální specifikace (ověřeno 3. listopadu 2026) aktuálně odkazuje na Mistral Large 3. Podobně mistral-medium-latest odkazuje na Mistral Medium 3.5. Tyto aliasy zůstanou platné do 30. dubna 2027. Pro nové projekty otestuj mistral-large-4, jejich určeného nástupce.

Opraveno 3. listopadu 2026. Příklad ochranných zábran dříve používal vymyšlený formát (guardrails={"enabled": True}). Oficiálním parametrem je seznam konfigurací moderation_llm_v2, podrobně popsaný v další lekci. Dva nepodložené údaje („78 % společností“ a „latence nižší než 50 ms“) byly odstraněny: Mistral nezveřejňuje metriky latence pro své ochranné zábrany. Zdroje: Moderation & Guardrailing · SDK mistralai 3.7.0.

Zabezpečení AI: Kritická výzva roku 2026

Nasazení jazykového modelu do produkce bez bezpečnostních mechanismů je jako spuštění webové služby bez firewallu. Velké jazykové modely (LLM) jsou mocné nástroje, ale mohou generovat nevhodný obsah, unikat citlivá data nebo být manipulovány škodlivými uživateli. Není to teoretický problém: projeví se během prvních několika tisíc reálných požadavků, jakmile vaši uživatelé vykročí ze scénářů, které jste si představovali.

Jako vývojář jsi přímo odpovědný za to, co tvoje aplikace s umělou inteligencí vyprodukuje. Pokud tvůj chatbot generuje nebezpečné lékařské rady nebo nenávistný obsah, nese důsledky tvoje společnost – právní, reputační i finanční. Nikdo se nebude ptát, zda model pochází od externího poskytovatele.

2
Linie obrany: vstupní zábrany, výstupní moderování
11
Kategorie rizik pokryté Mistralem
403
Stavový kód HTTP pro zablokované zábrany
0 až 1
Rozsah prahu, nastavitelný pro každou kategorii

Tři typy rizik

Prvním rizikem je generování nevhodného obsahu. Model může produkovat násilný, sexuálně explicitní, diskriminační nebo nebezpečný obsah, a to i bez zlých úmyslů ze strany uživatele. K vyvolání problematické odpovědi stačí jednoduchá nejednoznačná výzva: zeptej se kulinářského asistenta, jak „neutralizovat“ ingredienci, a uvidíš, že hranice je tenčí, než se zdá.

Druhé riziko plyne z manipulace uživatelem, známé také jako vstřikování příkazů (prompt injection). Škodliví uživatelé se snaží obejít systémové instrukce a donutit model k produkci zakázaného obsahu. Techniky prolomení ochrany (jailbreak) se neustále vyvíjejí, během hodin se šíří po fórech a vyžadují vícevrstvou obranu, nikoliv jen jednoduchý seznam zakázaných slov.

Třetím rizikem je únik citlivých dat. Model může neúmyslně odhalit osobní údaje (PII), tajemství vložená do kontextu nebo důvěrná data přítomná v jeho tréninkové sadě. Představ si asistenta pro lidské zdroje, kterého někdo nevinně požádá: „Co je ve spise Marie?“ Žádost není agresivní, přesto výsledkem je únik dat.

Přístup Mistralu: Dvě linie obrany

Mistral řeší tato rizika dvěma doplňkovými vrstvami: jednou vstupní a druhou výstupní. První, vlastní ochranné zábrany (Custom Guardrails), analyzuje výzvu uživatele předtím, než se dostane k modelu. Pokud je obsah shledán nebezpečným, je požadavek zablokován chybou 403 – model výzvu nikdy neuvidí a nic na jejím základě nevygeneruje.

# Výzva je analyzována PŘED modelem
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": prompt}],
    guardrails=[  # První linie obrany
        {
            "block_on_error": True,
            "moderation_llm_v2": {
                "custom_category_thresholds": {"jailbreaking": 0.3},
                "action": "block",
            },
        }
    ],
)

Druhá vrstva, API pro moderování, funguje opačným směrem: analyzuje obsah po vygenerování a přiřazuje mu skóre rizika podle kategorií. Na rozdíl od ochranných zábran za tebe nerozhoduje. Získáš skóre a sám rozhodneš, co dál: obsah zobrazit, skrýt, označit příznakem nebo zablokovat.

# Vygenerovaný obsah je analyzován PO generování
moderation = client.classifiers.moderate_chat(
    model="mistral-moderation-2603",
    inputs=[
        {"role": "user", "content": prompt},
        {"role": "assistant", "content": texte_genere},  # text odpovědi
    ],
)

Proč jsou nutné obě vrstvy

Každá vrstva má slepé místo, které ta druhá pokrývá. Samotné ochranné zábrany nestačí: model může vygenerovat problematický obsah i z neškodné výzvy a analýza vstupu nedokáže předvídat vše. Ani samotné moderování nestačí: detekuje problémy až dodatečně a nikdy nezabrání modelu ve zpracování škodlivých požadavků ani plýtvání výpočetním časem na ně.

V kombinaci tvoří obranu do hloubky: filtrování vstupů je proaktivní, filtrování výstupů reaktivní a nebezpečný obsah musí projít oběma, aby se dostal k uživateli. Právě tato redundance, nikoliv dokonalost jediného filtru, činí architekturu robustní.

Tvá odpovědnost jako vývojáře

Evropský regulační rámec ukládá konkrétní povinnosti v rámci nařízení o umělé inteligenci (AI Act) a obecného nařízení o ochraně osobních údajů (GDPR). Musíš zajistit transparentnost, což znamená informovat uživatele, že komunikují s umělou inteligencí, a vysledovatelnost tím, že budeš uchovávat protokoly o moderování použitelné při auditu. Platí také zásada proporcionality: bezpečnostní prahy pro asistenta určeného zdravotníkům nemohou být stejné jako pro spotřebitelský chatbot a musíš být schopen svou volbu obhájit. Nakonec ochrana dat zakazuje zpracovávat osobní údaje bez právního základu, a to ani v tvých protokolech o moderování.

V tomto kurzu se naučíš implementovat tyto dvě linie obrany pomocí API Mistral, nakonfigurovat své prahy a vybudovat kompletní bezpečnostní architekturu pro své produkční aplikace.

Klíčové poznatky

  • LLM v produkci vyžadují bezpečnostní mechanismy
  • Mistral nabízí dva doplňkové přístupy: ochranné zábrany (před) a moderování (po)
  • Jsi odpovědný za obsah generovaný tvou aplikací
  • Zabezpečení AI není volitelné – je to právní a etická povinnost