Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Zašto osigurati svoje AI aplikacije

Lekcija 1 od 12 Ažurirano 3. studenoga 2026. Programer
Na ovoj stranici
  1. Sigurnost AI-ja: Kritičan izazov u 2026. godini
  2. Tri vrste rizika
  3. Mistralov pristup: Dvije linije obrane
  4. Zašto su obje nužne
  5. Tvoja odgovornost kao programera
  6. Ključne točke

Ažurirano 2. studenoga 2026. — Modeli. Mistral Large 3 (mistral-large-2512) i Mistral Medium 3.5 povučeni su iz upotrebe 31. listopada 2026., a bit će trajno uklonjeni 30. travnja 2027. Njihov nasljednik, Mistral Large 4 (mistral-large-4), dostupan je u javnoj pretpreglednoj verziji od 6. listopada. Primjeri u ovom tečaju koriste alias mistral-large-latest, koji trenutno pokazuje na Mistral Large 3 prema svojoj službenoj specifikaciji (provjereno 3. studenoga 2026.). Slično tome, mistral-medium-latest pokazuje na Mistral Medium 3.5. Ovi aliasi ostat će valjani do 30. travnja 2027. Za nove projekte testiraj mistral-large-4, njihovog namijenjenog nasljednika.

Ispravljeno 3. studenoga 2026. Primjer zaštitne ograde prethodno je koristio izmišljen format (guardrails={"enabled": True}). Službeni parametar je lista konfiguracija moderation_llm_v2, detaljno opisana u sljedećoj lekciji. Dvije nepotkrijepljene brojke („78% tvrtki“ i „kašnjenje manje od 50 ms“) uklonjene su: Mistral ne objavljuje metrike kašnjenja za svoje zaštitne ograde. Izvori: Moderacija i zaštitne ograde · mistralai SDK 3.7.0.

Sigurnost AI-ja: Kritičan izazov u 2026. godini

Uvođenje jezičnog modela u produkciju bez sigurnosnih mehanizama isto je što i pokretanje web servisa bez vatrozida. Veliki jezični modeli (LLM) moćni su alati, ali mogu generirati neprimjeren sadržaj, procuriti osjetljive podatke ili biti manipulirani od strane zlonamjernih korisnika. Ovo nije teorijski problem: manifestira se unutar prvih nekoliko tisuća stvarnih zahtjeva, čim tvoji korisnici izađu iz okvira scenarija koje si zamislio.

Kao programer, izravno si odgovoran za ono što tvoja AI aplikacija proizvede. Ako tvoj chatbot generira opasne medicinske savjete ili sadržaj pun mržnje, tvoja tvrtka snosi posljedice – pravne, reputacijske i financijske. Nitko neće pitati dolazi li model od pružatelja treće strane.

2
Linije obrane: ulazne zaštitne ograde, izlazna moderacija
11
Kategorije rizika koje pokriva Mistral
403
HTTP status kod za blokirane zaštitne ograde
0 do 1
Raspon praga, podesiv po kategoriji

Tri vrste rizika

Prvi rizik je generiranje neprimjerenog sadržaja. Model može proizvesti nasilan, seksualan, diskriminatoran ili opasan sadržaj, čak i bez zlonamjerne namjere korisnika. Dovoljan je jednostavan dvosmislen upit da se pokrene problematičan odgovor: pitaj kulinarskog asistenta kako „neutralizirati“ sastojak i vidjet ćeš da je granica tanja nego što se čini.

Drugi rizik proizlazi iz manipulacije korisnika, također poznate kao ubrizgavanje upita (prompt injection). Zlonamjerni korisnici pokušavaju zaobići sistemske upute kako bi prisilili model na proizvodnju zabranjenog sadržaja. Tehnike probijanja zaštite (jailbreak) neprestano evoluiraju, šire se forumima unutar nekoliko sati i zahtijevaju višeslojnu obranu, a ne jednostavnu listu zabranjenih riječi.

Treći rizik je curenje osjetljivih podataka. Model može nenamjerno otkriti osobne podatke (PII), tajne ubrizgane u kontekst ili povjerljive podatke prisutne u njegovom skupu za obuku. Zamisli HR asistenta kojeg netko nedužno pita: „Što piše u Marijinom dosjeu?“ Zahtjev nije agresivan, no rezultat je kršenje sigurnosti podataka.

Mistralov pristup: Dvije linije obrane

Mistral rješava ove rizike s dva komplementarna sloja: jednim uzvodnim i jednim nizvodnim. Prvi, prilagođene zaštitne ograde (Custom Guardrails), analizira korisnikov upit prije nego što stigne do modela. Ako se sadržaj procijeni opasnim, zahtjev se blokira s greškom 403 – model nikada ne vidi upit i ništa ne generira na temelju njega.

# Upit se analizira PRIJE modela
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": prompt}],
    guardrails=[  # Prva linija obrane
        {
            "block_on_error": True,
            "moderation_llm_v2": {
                "custom_category_thresholds": {"jailbreaking": 0.3},
                "action": "block",
            },
        }
    ],
)

Drugi sloj, Moderation API, radi u suprotnom smjeru: analizira sadržaj nakon generiranja kako bi dodijelio ocjene rizika po kategorijama. Za razliku od zaštitnih ograda, on ne donosi odluke umjesto tebe. Dohvaćaš ocjene i sam odlučuješ što dalje: prikazati, sakriti, označiti ili blokirati.

# Generirani sadržaj analizira se NAKON generiranja
moderation = client.classifiers.moderate_chat(
    model="mistral-moderation-2603",
    inputs=[
        {"role": "user", "content": prompt},
        {"role": "assistant", "content": texte_genere},  # tekst odgovora
    ],
)

Zašto su obje nužne

Svaki sloj ima slijepu točku koju drugi pokriva. Same zaštitne ograde nisu dovoljne: model može generirati problematičan sadržaj čak i iz bezazlenog upita, a analiza ulaza ne može predvidjeti sve. Ni sama moderacija nije dovoljna: ona detektira probleme naknadno, nikada ne sprječavajući model da obradi zlonamjerne zahtjeve ili da troši računalne resurse na njih.

U kombinaciji, one čine obranu u dubini: filtriranje ulaza je proaktivno, filtriranje izlaza je reaktivno, a opasan sadržaj mora proći kroz oba sloja da bi stigao do korisnika. Upravo ta redundancija, a ne savršenstvo jednog filtra, čini arhitekturu robustnom.

Tvoja odgovornost kao programera

Europski regulatorni okvir nameće konkretne obveze prema AI aktu i GDPR-u (Opća uredba o zaštiti podataka). Moraš osigurati transparentnost, što znači da informiraš korisnike da komuniciraju s AI-jem, i sljedivost, vođenjem zapisnika o moderaciji koji se mogu koristiti tijekom revizije. Primjenjuje se i proporcionalnost: sigurnosni pragovi za asistenta namijenjenog zdravstvenim djelatnicima ne mogu biti isti kao oni za potrošački chatbot, i moraš moći opravdati svoj izbor. Konačno, zaštita podataka zabranjuje obradu osobnih podataka bez pravne osnove, uključujući i u tvojim zapisnicima o moderaciji.

U ovom tečaju naučit ćeš implementirati ove dvije linije obrane s Mistral API-jem, konfigurirati svoje pragove i izgraditi potpunu sigurnosnu arhitekturu za svoje produkcijske aplikacije.

Ključne točke

  • LLM-ovi u produkciji zahtijevaju sigurnosne mehanizme
  • Mistral nudi dva komplementarna pristupa: zaštitne ograde (prije) i moderaciju (nakon)
  • Odgovoran si za sadržaj koji generira tvoja aplikacija
  • Sigurnost AI-ja nije opcija – to je pravna i etička obveza