Warum Sie Ihre KI-Anwendungen absichern müssen

Aktualisiert am 2. November 2026 — Modelle. Mistral Large 3 (mistral-large-2512) und Mistral Medium 3.5 wurden am 31. Oktober 2026 eingestellt und werden am 30. April 2027 endgültig zurückgezogen. Ihr benannter Nachfolger, Mistral Large 4 (mistral-large-4), steht seit dem 6. Oktober in der öffentlichen Vorschau. Die Beispiele in diesem Kurs verwenden den Alias mistral-large-latest, der gemäß seiner offiziellen Spezifikation derzeit auf Mistral Large 3 verweist (verifiziert am 3. November 2026). Ebenso verweist mistral-medium-latest auf Mistral Medium 3.5. Diese Aliase bleiben bis zum 30. April 2027 gültig. Für neue Projekte testen Sie mistral-large-4, ihren benannten Nachfolger.

Korrektur vom 3. November 2026. Das Guardrail-Beispiel verwendete zuvor ein erfundenes Format (guardrails={"enabled": True}). Der offizielle Parameter ist eine Liste von moderation_llm_v2-Konfigurationen, die in der nächsten Lektion detailliert beschrieben wird. Zwei nicht belegte Angaben („78 % der Unternehmen” und „Latenz von weniger als 50 ms”) wurden entfernt: Mistral veröffentlicht keine Latenzmetriken für seine Guardrails. Quellen: Moderation & Guardrailing · mistralai SDK 3.7.0.

KI-Sicherheit: Eine kritische Herausforderung im Jahr 2026

Den Einsatz eines Sprachmodells in der Produktion ohne Sicherheitsmechanismen ist vergleichbar mit dem Start eines Webdienstes ohne Firewall. Large Language Models (LLMs) sind leistungsfähige Werkzeuge, können jedoch unangemessene Inhalte generieren, sensible Daten offenlegen oder von böswilligen Nutzern manipuliert werden. Dies ist kein theoretisches Problem: Es zeigt sich bereits innerhalb der ersten paar tausend echten Anfragen, sobald Ihre Nutzer die von Ihnen imaginierten Szenarien verlassen.

Als Entwickler sind Sie direkt verantwortlich für den Inhalt, den Ihre KI-Anwendung erzeugt. Wenn Ihr Chatbot gefährliche medizinische Ratschläge oder Hassinhalte generiert, trägt Ihr Unternehmen die Konsequenzen – rechtlich, reputationsbezogen und finanziell. Niemand wird fragen, ob das Modell von einem Drittanbieter stammt.

Die drei Arten von Risiken

Das erste Risiko ist generierter unangemessener Inhalt. Das Modell kann gewaltsame, sexuelle, diskriminierende oder gefährliche Inhalte produzieren, auch ohne böswillige Absicht des Nutzers. Schon eine einfache mehrdeutige Anfrage reicht aus, um eine problematische Antwort auszulösen: Fragen Sie einen kulinarischen Assistenten, wie man einen Bestandteil „neutralisieren” kann, und Sie werden feststellen, dass die Grenze feiner ist, als erwartet.

Das zweite Risiko entsteht durch Nutzer-Manipulation, auch bekannt als Prompt Injection. Böswillige Nutzer versuchen, Systemanweisungen zu umgehen, um das Modell zur Erzeugung verbotener Inhalte zu zwingen. Jailbreak-Techniken entwickeln sich ständig weiter, verbreiten sich innerhalb weniger Stunden über Foren und erfordern mehrschichtige Verteidigungsstrategien statt einer einfachen Liste verbotener Wörter.

Das dritte Risiko ist die Offenlegung sensibler Daten. Das Modell kann unbeabsichtigt personenbezogene Informationen (PII), in den Kontext injizierte Geheimnisse oder vertrauliche Daten offenlegen, die in seinem Trainingsdatensatz enthalten sind. Stellen Sie sich einen HR-Assistenten vor, der harmlos gefragt wird: „Was steht in Maries Akte?” Die Anfrage ist nicht aggressiv, doch das Ergebnis ist ein Datenleck.

Der Mistral-Ansatz: Zwei Verteidigungslinien

Mistral adressiert diese Risiken mit zwei sich ergänzenden Ebenen: einer upstream und einer downstream. Die erste, Custom Guardrails, analysiert die Nutzeranfrage, bevor sie das Modell erreicht. Wenn der Inhalt als gefährlich eingestuft wird, wird die Anfrage mit einem 403-Fehler blockiert – das Modell sieht die Anfrage nie und generiert daraus nichts.

# Die Anfrage wird VOR der Modellverarbeitung analysiert
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": prompt}],
    guardrails=[  # Erste Verteidigungslinie
        {
            "block_on_error": True,
            "moderation_llm_v2": {
                "custom_category_thresholds": {"jailbreaking": 0.3},
                "action": "block",
            },
        }
    ],
)

Die zweite Ebene, die Moderation API, arbeitet in die entgegengesetzte Richtung: Sie analysiert Inhalte nach der Generierung, um Risikowerte pro Kategorie zuzuweisen. Im Gegensatz zu Guardrails trifft sie keine Entscheidungen für Sie. Sie holen sich die Werte ab und entscheiden, was als Nächstes zu tun ist: Anzeigen, ausblenden, markieren oder blockieren.

# Der generierte Inhalt wird NACH der Generierung analysiert
moderation = client.classifiers.moderate_chat(
    model="mistral-moderation-2603",
    inputs=[
        {"role": "user", "content": prompt},
        {"role": "assistant", "content": texte_genere},  # der Antworttext
    ],
)

Warum beide notwendig sind

Jede Ebene hat eine Blindstelle, die die andere abdeckt. Guardrails allein reichen nicht aus: Das Modell kann problematische Inhalte auch aus einer harmlosen Anfrage generieren, und die Eingabeanalyse kann nicht alles antizipieren. Moderation allein reicht ebenfalls nicht: Sie erkennt Probleme erst nachträglich und verhindert nie, dass das Modell böswillige Anfragen verarbeitet oder Rechenzeit für diese verschwendet wird.

In Kombination bilden sie eine vertiefte Verteidigung: Die Eingabefilterung ist proaktiv, die Ausgabefilterung reaktiv, und gefährliche Inhalte müssen beide Ebenen passieren, um den Nutzer zu erreichen. Es ist diese Redundanz, nicht die Perfektion eines einzelnen Filters, die die Architektur robust macht.

Ihre Verantwortung als Entwickler

Der europäische regulatorische Rahmen schreibt konkrete Verpflichtungen gemäß dem AI Act und der DSGVO (General Data Protection Regulation) vor. Sie müssen Transparenz gewährleisten, was bedeutet, dass Sie die Nutzer informieren müssen, dass sie mit einer KI interagieren, und Nachvollziehbarkeit, indem Sie Moderationsprotokolle für Audits nutzbar halten. Auch das Verhältnismäßigkeitsprinzip gilt: Sicherheits-Schwellenwerte für einen Assistenten, der für Gesundheitsfachkräfte konzipiert ist, können nicht dieselben sein wie für einen Consumer-Chatbot, und Sie müssen Ihre Wahl begründen können. Schließlich verbietet der Datenschutz die Verarbeitung von PII ohne rechtliche Grundlage, einschließlich in Ihren Moderationsprotokollen.

In diesem Kurs lernen Sie, diese beiden Verteidigungslinien mit der Mistral-API zu implementieren, Ihre Schwellenwerte zu konfigurieren und eine vollständige Sicherheitsarchitektur für Ihre Produktionsanwendungen zu erstellen.

Kernaussagen

• LLMs in der Produktion erfordern Sicherheitsmechanismen
• Mistral bietet zwei sich ergänzende Ansätze: Guardrails (vorher) und Moderation (nachher)
• Sie sind für den Inhalt verantwortlich, den Ihre Anwendung generiert
• KI-Sicherheit ist nicht optional – sie ist eine rechtliche und ethische Verpflichtung