Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Hvorfor du skal sikre dine AI-applikationer

Lektion 1 af 12 Opdateret 3. november 2026 Udvikler
På denne side
  1. AI-sikkerhed: En kritisk udfordring i 2026
  2. De tre typer risici
  3. Mistral-tilgangen: To forsvarslinjer
  4. Hvorfor begge er nødvendige
  5. Dit ansvar som udvikler
  6. Vigtige pointer

Opdateret 2. november 2026 — Modeller. Mistral Large 3 (mistral-large-2512) og Mistral Medium 3.5 blev udfaset den 31. oktober 2026 og vil blive trukket tilbage den 30. april 2027. Deres udpegede efterfølger, Mistral Large 4 (mistral-large-4), har været i offentlig forhåndsvisning siden den 6. oktober. Eksemplerne i dette kursus bruger aliaset mistral-large-latest, som i øjeblikket peger på Mistral Large 3 i henhold til den officielle specifikation (verificeret 3. november 2026). Tilsvarende peger mistral-medium-latest på Mistral Medium 3.5. Disse aliaser forbliver gyldige indtil den 30. april 2027. Til nye projekter bør du teste mistral-large-4, som er den udpegede efterfølger.

Rettet 3. november 2026. Eksemplet på værn brugte tidligere et opfundet format (guardrails={"enabled": True}). Den officielle parameter er en liste med moderation_llm_v2-konfigurationer, som beskrives detaljeret i næste lektion. To tal uden kildehenvisning (“78 % af virksomheder” og “mindre end 50 ms ventetid”) er fjernet: Mistral offentliggør ikke ventetidsmålinger for deres værn. Kilder: Moderation & Guardrailing · mistralai SDK 3.7.0.

AI-sikkerhed: En kritisk udfordring i 2026

At sætte en sprogmodel i produktion uden sikkerhedsmekanismer svarer til at lancere en webtjeneste uden en firewall. Store sprogmodeller (LLM’er) er kraftfulde værktøjer, men de kan generere upassende indhold, lække følsomme data eller blive manipuleret af ondsindede brugere. Dette er ikke et teoretisk problem: Det viser sig inden for de første få tusinde rigtige forespørgsler, så snart dine brugere bevæger sig uden for de scenarier, du har forestillet dig.

Som udvikler er du direkte ansvarlig for, hvad din AI-applikation producerer. Hvis din chatbot genererer farlige medicinske råd eller hadefuldt indhold, bærer din virksomhed konsekvenserne – juridiske, omdømmemæssige og økonomiske. Ingen vil spørge, om modellen kom fra en tredjepartsudbyder.

2
Forsvarslinjer: input-værn, output-moderation
11
Risikokategorier dækket af Mistral
403
HTTP-statuskode for blokerede værn
0 til 1
Tærskelområde, justerbart pr. kategori

De tre typer risici

Den første risiko er generering af upassende indhold. Modellen kan producere voldeligt, seksuelt, diskriminerende eller farligt indhold, selv uden ondsindet hensigt fra brugeren. En simpel tvetydig prompt er nok til at udløse et problematisk svar: Spørg en kulinarisk assistent, hvordan man “neutraliserer” en ingrediens, og du vil se, at linjen er finere end forventet.

Den anden risiko kommer fra brugermanipulation, også kendt som prompt-injection. Ondsindede brugere forsøger at omgå systeminstruktioner for at tvinge modellen til at producere forbudt indhold. Jailbreak-teknikker udvikler sig konstant, spredes på fora inden for få timer og kræver flerlagsforsvar frem for en simpel liste over forbudte ord.

Den tredje risiko er lækage af følsomme data. Modellen kan utilsigtet afsløre personhenførbare oplysninger (PII), hemmeligheder injiceret i konteksten eller fortrolige data, der findes i dens træningssæt. Overvej en HR-assistent, der uskyldigt bliver spurgt: „Hvad står der i Maries mappe?” Forespørgslen er ikke aggressiv, men resultatet er en databrud.

Mistral-tilgangen: To forsvarslinjer

Mistral håndterer disse risici med to komplementære lag: ét opstrøms og ét nedstrøms. Det første, tilpassede værn (Custom Guardrails), analyserer brugerens prompt, før den når modellen. Hvis indholdet betragtes som farligt, blokeres forespørgslen med en 403-fejl – modellen ser aldrig prompten og genererer intet ud fra den.

# Prompten analyseres FØR modellen
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": prompt}],
    guardrails=[  # Første forsvarslinje
        {
            "block_on_error": True,
            "moderation_llm_v2": {
                "custom_category_thresholds": {"jailbreaking": 0.3},
                "action": "block",
            },
        }
    ],
)

Det andet lag, Moderation API, fungerer i den modsatte retning: Det analyserer indhold efter generering for at tildele risikoscores efter kategori. I modsætning til værn træffer det ikke beslutninger for dig. Du henter scoringerne og beslutter, hvad du gør derefter: vis, skjul, flag eller blokér.

# Det genererede indhold analyseres EFTER generering
moderation = client.classifiers.moderate_chat(
    model="mistral-moderation-2603",
    inputs=[
        {"role": "user", "content": prompt},
        {"role": "assistant", "content": texte_genere},  # svarteksten
    ],
)

Hvorfor begge er nødvendige

Hvert lag har et blindt punkt, som det andet dækker. Værn alene er ikke nok: Modellen kan generere problematisk indhold selv fra en harmløs prompt, og input-analyse kan ikke forudse alt. Moderation alene er heller ikke nok: Den opdager problemer efterfølgende og forhindrer aldrig modellen i at behandle ondsindede forespørgsler eller spilde regnekraft på dem.

Kombineret danner de et dybdeforsvar: Input-filtrering er proaktiv, output-filtrering er reaktiv, og farligt indhold skal passere begge lag for at nå brugeren. Det er denne redundans, ikke perfektionen af et enkelt filter, der gør arkitekturen robust.

Dit ansvar som udvikler

Den europæiske lovgivningsramme pålægger konkrete forpligtelser under AI-loven og GDPR (General Data Protection Regulation). Du skal sikre gennemsigtighed, hvilket betyder, at du informerer brugere om, at de interagerer med en AI, og sporbarhed ved at føre moderationslogfiler, der kan bruges under en revision. Proportionalitet gælder også: Sikkerhedstærskler for en assistent designet til sundhedspersonale kan ikke være de samme som for en forbruger-chatbot, og du skal kunne begrunde dit valg. Endelig forbyder databeskyttelse behandling af personhenførbare oplysninger uden et juridisk grundlag, herunder i dine moderationslogfiler.

I dette kursus lærer du at implementere disse to forsvarslinjer med Mistral API, konfigurere dine tærskler og opbygge en komplet sikkerhedsarkitektur til dine produktionsapplikationer.

Vigtige pointer

  • LLM’er i produktion kræver sikkerhedsmekanismer
  • Mistral tilbyder to komplementære tilgange: værn (før) og moderation (efter)
  • Du er ansvarlig for det indhold, din applikation genererer
  • AI-sikkerhed er ikke valgfrit – det er en juridisk og etisk forpligtelse