Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Kodėl reikia apsaugoti savo DI programas

Paskaita 1 iš 12 Atnaujinta 2026 m. lapkričio 3 d. Kūrėjas
Šiame puslapyje
  1. DI saugumas: kritinis iššūkis 2026 m.
  2. Trys rizikos tipai
  3. „Mistral“ požiūris: dvi gynybos linijos
  4. Kodėl reikia abiejų
  5. Tavo atsakomybė kaip kūrėjo
  6. Svarbiausi punktai

Atnaujinta 2026 m. lapkričio 2 d. — Modeliai. „Mistral Large 3“ (mistral-large-2512) ir „Mistral Medium 3.5“ buvo pripažinti pasenusiais 2026 m. spalio 31 d. ir bus visiškai nutraukti 2027 m. balandžio 30 d. Jų įpėdinis, Mistral Large 4 (mistral-large-4), viešosios peržiūros etape yra nuo spalio 6 d. Šiame kurse naudojami pavyzdžiai remiasi aliasu mistral-large-latest, kuris šiuo metu, pagal oficialią specifikaciją (patikrinta 2026 m. lapkričio 3 d.), nukreipia į „Mistral Large 3“. Panašiai mistral-medium-latest nukreipia į „Mistral Medium 3.5“. Šie aliasai galios iki 2027 m. balandžio 30 d. Naujiems projektams testuokite mistral-large-4 – jų tiesioginį įpėdinį.

Ištaisyta 2026 m. lapkričio 3 d. Anksčiau naudotame apsaugos priemonių pavyzdyje buvo išgalvotas formatas (guardrails={"enabled": True}). Oficialus parametras yra sąrašas konfigūracijų moderation_llm_v2, detaliai aprašytas kitoje pamokoje. Du nepagrįsti skaičiai („78 % įmonių“ ir „mažiau nei 50 ms delsos“) buvo pašalinti: „Mistral“ neskelbia savo apsaugos priemonių delsos metrikų. Šaltiniai: Moderavimas ir apsaugos priemonės · mistralai SDK 3.7.0.

DI saugumas: kritinis iššūkis 2026 m.

Kalbos modelio diegimas į gamybinę aplinką be saugumo mechanizmų yra lygus žiniatinklio paslaugos paleidimui be užkardos. Didieji kalbos modeliai (LLM) yra galingi įrankiai, tačiau jie gali generuoti netinkamą turinį, nutekinti jautrius duomenis arba būti manipuliuojami kenkėjiškų naudotojų. Tai ne teorinė problema: ji pasireiškia jau po pirmųjų kelių tūkstančių realių užklausų, kai tik jūsų naudotojai išeina už jūsų numatytų scenarijų ribų.

Kaip kūrėjas, tu esi tiesiogiai atsakingas už tai, ką gamina tavo DI programa. Jei tavo pokalbių robotas sugeneruoja pavojingus medicininius patarimus ar neapykantos kupiną turinį, pasekmes tenka prisiimti tavo įmonei – teisines, reputacines ir finansines. Niekas neklaus, ar modelis buvo gautas iš trečiosios šalies tiekėjo.

2
Gynybos linijos: įvesties apsauga, išvesties moderavimas
11
Rizikos kategorijos, kurias dengia „Mistral“
403
HTTP būsenos kodas užblokuotoms apsaugos priemonėms
0 to 1
Slenksčio diapazonas, reguliuojamas pagal kategoriją

Trys rizikos tipai

Pirmoji rizika – sugeneruotas netinkamas turinys. Modelis gali sukurti smurtinį, seksualinį, diskriminacinį ar pavojingą turinį net ir be kenkėjiškų naudotojo ketinimų. Pakanka paprasto dviprasmiško raginimo, kad būtų sužadinta problematiška reakcija: paklausk kulinarinio asistento, kaip „neutralizuoti“ ingredientą, ir pamatysi, kad riba yra daug plonesnė, nei tikėjaisi.

Antroji rizika kyla iš naudotojo manipuliavimo, dar vadinamo raginimo injekcija (prompt injection). Kenkėjiški naudotojai bando apeiti sistemos instrukcijas, kad priverstų modelį generuoti draudžiamą turinį. „Jailbreak“ technikos nuolat tobulėja, per valandas išplinta forumuose ir reikalauja daugiasluoksnės gynybos, o ne paprasto draudžiamų žodžių sąrašo.

Trečioji rizika – jautrių duomenų nutekėjimas. Modelis gali netyčia atskleisti asmeninę informaciją (PII), į kontekstą įterptas paslaptis arba konfidencialius duomenis, esančius jo mokymo aibėje. Įsivaizduok HR asistentą, kurio nekaltai paklausia: „Kas yra Marijos byloje?“ Užklausa nėra agresyvi, tačiau rezultatas – duomenų pažeidimas.

„Mistral“ požiūris: dvi gynybos linijos

„Mistral“ šias rizikas sprendžia dviem papildomais sluoksniais: vienu prieš srautą, kitu – po jo. Pirmasis, tinkintos apsaugos priemonės (Custom Guardrails), analizuoja naudotojo raginimą prieš jam pasiekiant modelį. Jei turinys laikomas pavojingu, užklausa blokuojama grąžinant 403 klaidą – modelis raginimo niekada nemato ir pagal jį nieko negeneruoja.

# Raginimas analizuojamas PRIEŠ modelį
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": prompt}],
    guardrails=[  # Pirmoji gynybos linija
        {
            "block_on_error": True,
            "moderation_llm_v2": {
                "custom_category_thresholds": {"jailbreaking": 0.3},
                "action": "block",
            },
        }
    ],
)

Antrasis sluoksnis, Moderavimo API, veikia priešinga kryptimi: jis analizuoja turinį po generavimo, priskirdamas rizikos balus pagal kategorijas. Skirtingai nei apsaugos priemonės, jis nepriima sprendimų už tave. Tu gauni balus ir pats sprendži, ką daryti toliau: rodyti, slėpti, žymėti ar blokuoti.

# Sugeneruotas turinys analizuojamas PO generavimo
moderation = client.classifiers.moderate_chat(
    model="mistral-moderation-2603",
    inputs=[
        {"role": "user", "content": prompt},
        {"role": "assistant", "content": texte_genere},  # atsakymo tekstas
    ],
)

Kodėl reikia abiejų

Kiekvienas sluoksnis turi akląją zoną, kurią dengia kitas. Vien apsaugos priemonių nepakanka: modelis gali sugeneruoti problematišką turinį net iš nekalto raginimo, o įvesties analizė negali numatyti visko. Vien moderavimo taip pat nepakanka: jis problemas aptinka post factum, niekada neužkertant kelio modeliui apdoroti kenkėjiškų užklausų ar eikvoti skaičiavimo išteklius joms.

Sujungus abu, sukuriama giluminė gynyba: įvesties filtravimas yra proaktyvus, išvesties filtravimas – reaktyvus, o pavojingas turinys turi praeiti abu filtrus, kad pasiektų naudotoją. Būtent šis dubliavimas, o ne vieno filtro tobulumas, daro architektūrą patikimą.

Tavo atsakomybė kaip kūrėjo

Europos reguliavimo sistema pagal DI aktą ir BDAR (Bendrasis duomenų apsaugos reglamentas) nustato konkrečius įsipareigojimus. Turi užtikrinti skaidrumą, tai yra informuoti naudotojus, kad jie bendrauja su DI, ir atsekamumą, saugant moderavimo žurnalus, tinkamus auditui. Taikomas ir proporcingumas: saugumo slenksčiai asistentui, skirtam sveikatos priežiūros specialistams, negali būti tokie patys kaip vartotojų pokalbių robotui, ir turi gebėti pagrįsti savo pasirinkimą. Galiausiai, duomenų apsauga draudžia tvarkyti asmens duomenis be teisinio pagrindo, įskaitant tavo moderavimo žurnaluose.

Šiame kurse išmoksi įgyvendinti šias dvi gynybos linijas naudodamas „Mistral“ API, sukonfigūruoti savo slenksčius ir sukurti visapusišką saugumo architektūrą savo gamybinėms programoms.

Svarbiausi punktai

  • LLM gamyboje reikalauja saugumo mechanizmų
  • „Mistral“ siūlo du papildomus metodus: apsaugos priemones (prieš) ir moderavimą (po)
  • Tu esi atsakingas už tavo programos sugeneruotą turinį
  • DI saugumas nėra pasirenkamas – tai teisinė ir etinė pareiga