Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Zakaj zavarovati svoje aplikacije z umetno inteligenco

Lekcija 1 od 12 Posodobljeno 3. november 2026 Razvijalec
Na tej strani
  1. Varnost umetne inteligence: Ključni izziv leta 2026
  2. Tri vrste tveganj
  3. Pristop Mistrala: Dve liniji obrambe
  4. Zakaj sta obe potrebni
  5. Vaša odgovornost kot razvijalca
  6. Ključne ugotovitve

Posodobljeno 2. novembra 2026 — Modeli. Mistral Large 3 (mistral-large-2512) in Mistral Medium 3.5 sta bila 31. oktobra 2026 umaknjena iz uporabe, dokončno pa bosta upokojena 30. aprila 2027. Njun predvideni naslednik, Mistral Large 4 (mistral-large-4), je v javnem predogledu od 6. oktobra. Primeri v tem tečaju uporabljajo vzdevek mistral-large-latest, ki trenutno kaže na Mistral Large 3 v skladu z njegovo uradno specifikacijo (preverjeno 3. novembra 2026). Podobno mistral-medium-latest kaže na Mistral Medium 3.5. Ti vzdevki bodo veljavni do 30. aprila 2027. Za nove projekte preizkusite mistral-large-4, njunega predvidenega naslednika.

Popravljeno 3. novembra 2026. Primer zaščitne ograje je prej uporabljal izmišljen format (guardrails={"enabled": True}). Uradni parameter je seznam konfiguracij moderation_llm_v2, podrobneje opisanih v naslednji lekciji. Dve številki brez vira (“78 % podjetij” in “manj kot 50 ms zakasnitve”) sta bili odstranjeni: Mistral ne objavlja metrik zakasnitve za svoje zaščitne ograje. Viri: Moderacija in zaščitne ograje · SDK mistralai 3.7.0.

Varnost umetne inteligence: Ključni izziv leta 2026

Uvedba jezikovnega modela v proizvodno okolje brez varnostnih mehanizmov je enaka zagonu spletne storitve brez požarnega zidu. Veliki jezikovni modeli (LLM) so zmogljiva orodja, vendar lahko ustvarjajo neustrezne vsebine, razkrijejo občutljive podatke ali pa jih zlonamerni uporabniki manipulirajo. To ni teoretičen problem: pojavi se že v prvih nekaj tisočih realnih zahtevah, takoj ko vaši uporabniki stopijo izven scenarijev, ki ste si jih zamislili.

Kot razvijalec ste neposredno odgovorni za to, kar proizvede vaša aplikacija z umetno inteligenco. Če vaš klepetalni bot ustvari nevarne zdravniške nasvete ali sovražne vsebine, posledice nosi vaše podjetje – pravne, reputacijske in finančne. Nihče ne bo vprašal, ali model prihaja od ponudnika tretje strani.

2
Liniji obrambe: vhodne zaščitne ograje, izhodna moderacija
11
Kategorije tveganj, ki jih pokriva Mistral
403
Koda stanja HTTP za blokirane zaščitne ograje
0 do 1
Razpon praga, prilagodljiv po kategoriji

Tri vrste tveganj

Prvo tveganje je ustvarjanje neustreznih vsebin. Model lahko proizvede nasilne, seksualne, diskriminatorne ali nevarne vsebine, tudi brez zlonamernega namena uporabnika. Dovolj je že preprost dvoumen poziv, da sproži problematičen odgovor: vprašajte kulinaričnega asistenta, kako „nevtralizirati” sestavino, in videli boste, da je meja tanjša, kot pričakujete.

Drugo tveganje izvira iz manipulacije uporabnika, znane tudi kot vbrizgavanje pozivov (prompt injection). Zlonamerni uporabniki poskušajo obiti sistemska navodila in prisiliti model k ustvarjanju prepovedanih vsebin. Tehnike preboja (jailbreak) se nenehno razvijajo, se v nekaj urah razširijo po forumih in zahtevajo večplastno obrambo, ne le preprostega seznama prepovedanih besed.

Tretje tveganje je puščanje občutljivih podatkov. Model lahko nehote razkrije osebne podatke (PII), skrivnosti, vbrizgane v kontekst, ali zaupne podatke, prisotne v njegovem učnem naboru. Pomislite na kadrovskega asistenta, ki ga nedolžno vprašate: „Kaj je v Marijini mapi?” Zahteva ni agresivna, vendar je rezultat kršitev podatkov.

Pristop Mistrala: Dve liniji obrambe

Mistral obravnava ta tveganja z dvema komplementarnima plastema: eno pred obdelavo in eno po njej. Prva, prilagojene zaščitne ograje (Custom Guardrails), analizira uporabnikov poziv preden ta doseže model. Če se vsebina oceni kot nevarna, se zahteva blokira s napako 403 – model poziva nikoli ne vidi in iz njega ne ustvari ničesar.

# Poziv je analiziran PRED modelom
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": prompt}],
    guardrails=[  # Prva linija obrambe
        {
            "block_on_error": True,
            "moderation_llm_v2": {
                "custom_category_thresholds": {"jailbreaking": 0.3},
                "action": "block",
            },
        }
    ],
)

Druga plast, API za moderacijo, deluje v nasprotni smeri: analizira vsebino po generiranju, da dodeli ocene tveganja po kategorijah. Za razliko od zaščitnih ograj namesto vas ne sprejema odločitev. Pridobite ocene in se sami odločite, kaj storiti naprej: prikazati, skriti, označiti ali blokirati.

# Ustvarjena vsebina je analizirana PO generiranju
moderation = client.classifiers.moderate_chat(
    model="mistral-moderation-2603",
    inputs=[
        {"role": "user", "content": prompt},
        {"role": "assistant", "content": texte_genere},  # besedilo odgovora
    ],
)

Zakaj sta obe potrebni

Vsaka plast ima slepo liso, ki jo pokriva druga. Same zaščitne ograje niso dovolj: model lahko ustvari problematično vsebino tudi iz neškodljivega poziva, analiza vhoda pa ne more predvideti vsega. Sama moderacija prav tako ni dovolj: težave zazna naknadno in nikoli ne prepreči modelu, da bi obdelal zlonamerne zahteve ali porabil računalniške vire zanje.

V kombinaciji tvorita obrambo v globino: filtriranje vhoda je proaktivno, filtriranje izhoda pa reaktivno. Nevarna vsebina mora prestati obe preveri, preden doseže uporabnika. Prav ta redundanca, ne pa popolnost enega samega filtra, naredi arhitekturo robustno.

Vaša odgovornost kot razvijalca

Evropski regulativni okvir nalaga konkretne obveznosti v skladu z aktom o umetni inteligenci (AI Act) in splošno uredbo o varstvu podatkov (GDPR). Zagotoviti morate preglednost, kar pomeni, da uporabnike obvestite, da komunicirajo z umetno inteligenco, in sledljivost z vodenjem dnevnikov moderacije, uporabnih med revizijo. Velja tudi načelo sorazmernosti: varnostni pragovi za asistenta, namenjenega zdravstvenim delavcem, ne morejo biti enaki kot za potrošniški klepetalni bot, svojo izbiro pa morate znati utemeljiti. Nazadnje varstvo podatkov prepoveduje obdelavo osebnih podatkov brez pravne podlage, vključno z vašimi dnevniki moderacije.

V tem tečaju se boste naučili implementirati ti dve liniji obrambe z API-jem Mistral, konfigurirati svoje pragove in zgraditi popolno varnostno arhitekturo za svoje proizvodne aplikacije.

Ključne ugotovitve

  • LLM-ji v proizvodnem okolju zahtevajo varnostne mehanizme
  • Mistral ponuja dva komplementarna pristopa: zaščitne ograje (pred) in moderacijo (po)
  • Odgovorni ste za vsebino, ki jo ustvari vaša aplikacija
  • Varnost umetne inteligence ni izbira – je pravna in etična obveznost