Anwendungsfälle für Annotationen
Auf dieser Seite
Update vom 2. November 2026 — OCR. OCR 4.0 (
mistral-ocr-4-0) wurde am 30. September 2026 eingestellt. Nutzen Sie OCR 4.1 (mistral-ocr-4-1), der seit dem 31. August allgemein verfügbar ist und zum gleichen Preis angeboten wird, oder den Aliasmistral-ocr-latest, der seit dem 16. Juli darauf verweist. OCR 4.1 fügt Vertrauenswerte auf Blockebene hinzu. Ergänzung vom 3. November 2026: Ein lokales PDF wird im Base64-Format als{"type": "document_url", "document_url": "data:application/pdf;base64,…"}übermittelt; der Typdocument_base64aus älteren Beispielen existiert weder in der Dokumentation noch immistralaiSDK, und diese Beispiele wären fehlgeschlagen. Quellen: OCR-Verarbeiter · Dokumenten-Fragen und Antworten. Korrektur vom 3. November 2026: Der Code las zuvorpage.document_annotationSeite für Seite; immistralaiSDK 3.7.0 ist die Dokumentenannotation ein einzelnes Feld in der Antwort (response.document_annotation), und die Bildannotation wird ausimage.image_annotationgelesen.
Annotationen für jede Rolle
Dokumenten-Annotationen verwandeln unstrukturierte Dokumente in handlungsrelevante Daten. Der Mechanismus ist immer derselbe – ein Schema, ein Prompt, ein Aufruf –, aber das, was Sie extrahieren, ändert sich radikal je nach Rolle. Diese Lektion führt durch vier konkrete Implementierungen: Klassifizierung im Vorfeld eines Pipelines, Analyse von Vertragsklauseln, Prüfungen der regulatorischen Compliance und Anreicherung eines RAG-Indexes.
Sortieren vor der Verarbeitung
In einem realen Workflow erreichen Dokumente vermengt: eine Rechnung, eine Bestellung, ein Ausweis, ein Brief. Bevor Sie das entsprechende Extraktions-Schema anwenden, müssen Sie wissen, womit Sie es zu tun haben. Die Annotation dient als erste Sortierstufe. Das Enum TypeDocument legt zulässige Kategorien fest, der Vertrauenswert ermöglicht es, alles unter einem Schwellenwert zur menschlichen Prüfung zu leiten, und die einzeilige Zusammenfassung gibt Operatoren genug Kontext, um eine Entscheidung zu treffen, ohne die Datei zu öffnen.
import os
from enum import Enum
from pydantic import BaseModel, Field
from mistralai.client import Mistral
from mistralai.extra import response_format_from_pydantic_model
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
class TypeDocument(str, Enum):
INVOICE = "facture"
PURCHASE_ORDER = "bon_commande"
CONTRACT = "contrat"
REPORT = "rapport"
LETTER = "courrier"
FORM = "formulaire"
ID_DOCUMENT = "piece_identite"
OTHER = "autre"
class Classification(BaseModel):
document_type: TypeDocument = Field(
..., description="Identifizierter Dokumententyp"
)
confidence: float = Field(
..., description="Vertrauenswert zwischen 0 und 1"
)
language: str = Field(
..., description="Hauptsprache (ISO 639-1-Code)"
)
summary: str = Field(
..., description="Einzeilige Zusammenfassung des Inhalts"
)
def classify_document(document_base64: str) -> Classification:
"""Klassifiziert ein Dokument automatisch."""
response = client.ocr.process(
model="mistral-ocr-latest",
document={
"type": "document_url",
"document_url": f"data:application/pdf;base64,{document_base64}"
},
document_annotation_format=response_format_from_pydantic_model(
Classification
),
document_annotation_prompt=(
"Identifizieren Sie den Typ dieses Dokuments und geben Sie "
"eine Zusammenfassung seines Inhalts an."
)
)
if response.document_annotation:
return Classification.model_validate_json(
response.document_annotation
)
raise ValueError("Keine Annotation zurückgegeben")
Einen Vertrag wie ein Anwalt lesen
Die Vertragsanalyse ist ein wichtiger Anwendungsfall im Rechts- und Finanzwesen, und hier glänzen verschachtelte Schemas wirklich. Jede Clause (Klausel) trägt ihren Titel, eine Inhaltszusammenfassung, ihre Kategorie – Vertraulichkeit, Kündigung, Wettbewerbsverbot, Haftung, Zahlung – und eine Risikobewertung auf drei Ebenen. Der Vertrag aggregiert diese Klauseln zusammen mit den Parteien, dem Unterzeichnungsdatum, der Laufzeit, dem Betrag und dem anwendbaren Gerichtsstand. Bei einem Portfolio von zweihundert Lieferantenverträgen erhalten Sie in wenigen Stunden eine Zuordnung, die niemand manuell hätte erstellen können.
Das Feld risk (Risiko) bedarf einer Warnung: es ist eine Einschätzung, die von einem Modell erzeugt wird, nützlich zur Priorisierung der Prüfung durch einen Anwalt, niemals zum Ersatz derselben.
from pydantic import BaseModel, Field
from typing import Optional
class Clause(BaseModel):
title: str = Field(..., description="Titel oder Nummer der Klausel")
content: str = Field(..., description="Zusammenfassung des Klauselinhalts")
clause_type: str = Field(
..., description="Typ: Vertraulichkeit, Kündigung, "
"Wettbewerbsverbot, Haftung, Zahlung, andere"
)
risk: str = Field(
..., description="Risikostufe: niedrig, mittel, hoch"
)
class ContractAnalysis(BaseModel):
parts: list[str] = Field(
..., description="Namen der vertraglichen Parteien"
)
signature_date: Optional[str] = Field(
None, description="Unterzeichnungsdatum (JJJJ-MM-TT)"
)
duration: Optional[str] = Field(
None, description="Laufzeit des Vertrags"
)
key_clauses: list[Clause] = Field(
..., description="Identifizierte Hauptklauseln"
)
amount: Optional[float] = Field(
None, description="Gesamtbetrag, falls erwähnt"
)
jurisdiction: Optional[str] = Field(
None, description="Anwendbarer Gerichtsstand"
)
def analyze_contract(document_base64: str) -> ContractAnalysis:
"""Analysiert einen Vertrag und extrahiert Hauptklauseln."""
response = client.ocr.process(
model="mistral-ocr-latest",
document={
"type": "document_url",
"document_url": f"data:application/pdf;base64,{document_base64}"
},
document_annotation_format=response_format_from_pydantic_model(
ContractAnalysis
),
document_annotation_prompt=(
"Analysieren Sie diesen Handelsvertrag. Identifizieren Sie die Parteien, "
"die Hauptklauseln und bewerten Sie das Risikoniveau jeder Klausel."
)
)
if response.document_annotation:
return ContractAnalysis.model_validate_json(
response.document_annotation
)
raise ValueError("Keine Annotation zurückgegeben")
Compliance automatisch überprüfen
Die regulatorische Kontrolle eignet sich besonders gut für Annotationen, da die Kriterien im Gesetz schwarz auf weiß festgeschrieben sind. Für eine französische Rechnung listet der Prompt die zu überprüfenden Verpflichtungen auf – zwingende Angaben (SIRET, innergemeinschaftliche Mehrwertsteuer, Zahlungsbedingungen, Mahngebühren), Betragseingabe und Ausstellungsdatum – und das Schema erzwingt für jedes Kriterium ein boolesches Urteil, begleitet von seiner Begründung. Sie erhalten einen Gesamtscore und Verbesserungsempfehlungen, was ausreicht, um eine nicht konforme Rechnung vor ihrem Eintritt in den Zahlungsverkehr zu blockieren.
from pydantic import BaseModel, Field
class CompliancePoint(BaseModel):
criterion: str = Field(..., description="Überprüfter Compliance-Kriterium")
compliant: bool = Field(..., description="Wahr, wenn konform, sonst Falsch")
justification: str = Field(
..., description="Erklärung der Konformität oder Nichtkonformität"
)
class ComplianceAudit(BaseModel):
document_type: str = Field(..., description="Überprüfter Dokumententyp")
compliance_points: list[CompliancePoint] = Field(
..., description="Überprüfte Compliance-Punkte"
)
global_score: float = Field(
..., description="Gesamter Compliance-Score (0-100)"
)
recommendations: list[str] = Field(
..., description="Empfehlungen zur Verbesserung"
)
def audit_invoice_compliance(document_base64: str) -> ComplianceAudit:
"""Überprüft die Rechnungskonformität gemäß französischen Regeln."""
response = client.ocr.process(
model="mistral-ocr-latest",
document={
"type": "document_url",
"document_url": f"data:application/pdf;base64,{document_base64}"
},
document_annotation_format=response_format_from_pydantic_model(
ComplianceAudit
),
document_annotation_prompt=(
"Überprüfen Sie die Konformität dieser Rechnung gemäß "
"französischen gesetzlichen Verpflichtungen: zwingende Angaben "
"(SIRET, innergemeinschaftliche Mehrwertsteuer, Zahlungsbedingungen, "
"Mahngebühren), Betragseingabe, Ausstellungsdatum."
)
)
if response.document_annotation:
return ComplianceAudit.model_validate_json(
response.document_annotation
)
raise ValueError("Keine Annotation zurückgegeben")
Nichts vor dem Indexieren verlieren
Ein letzter Anwendungsfall, diskreter, aber entscheidend: die Vorbereitung von Inhalten für einen RAG-Index. Ein Index, der ausschließlich auf Markdown basiert, verliert alles, was visuell war, und Ihre Suchen werden niemals die Grafik finden, die die Schlüsselzahl enthielt. Die folgende Funktion rekonstruiert Seite für Seite den Text und die Beschreibung jedes Bildes und fügt die aus dem Dokument extrahierten Metadaten in einem einzigen Block hinzu, der bereit ist, in Abschnitte unterteilt zu werden.
def enrich_for_rag(ocr_response) -> str:
"""Reichert OCR-Inhalte mit Annotationen für RAG an."""
parts = []
for page in ocr_response.pages:
# Textinhalt
parts.append(page.markdown)
# Bildannotationen (Bilder durch ihre Beschreibung ersetzen)
for image in page.images:
if image.image_annotation:
parts.append(
f"[Beschreibung von {image.id}]: {image.image_annotation}"
)
# Dokumentenannotation: nur eine einzige, getragen von der Antwort
if ocr_response.document_annotation:
parts.append(
f"[Extrahierte Metadaten]: {ocr_response.document_annotation}"
)
return "\n\n".join(parts)
Durch das Hinzufügen von Bildbeschreibungen und extrahierten Metadaten zu den indizierten Inhalten verlieren Sie keine Informationen aus dem ursprünglichen Dokument. Sie werden feststellen, dass diese vier Szenarien denselben Rückgrat teilen: was sie unterscheidet, ist das Schema und der Prompt, nicht der Aufrufcode.
Kernaussagen
- Automatische Klassifizierung leitet Dokumente in die richtige Verarbeitungs-Pipeline
- Die Extraktion von Vertragsklauseln identifiziert Risiken und Schlüsselpunkte
- Die Überprüfung der Compliance automatisiert regulatorische Audits
- Die Anreicherungsannotation verbessert die Qualität der RAG-Indexierung
- Jeder Anwendungsfall reduziert sich auf ein gut gestaltetes Pydantic-Schema und einen angepassten Prompt