Einführung in Vision über die Mistral API

Update vom 2. November 2026 — Modelle. Mistral Large 3 (mistral-large-2512) und Mistral Medium 3.5 wurden am 31. Oktober 2026 eingestellt und werden am 30. April 2027 endgültig zurückgezogen. Ihr benannter Nachfolger, Mistral Large 4 (mistral-large-4), steht seit dem 6. Oktober in der öffentlichen Vorschau. Die Beispiele in diesem Kurs verwenden den Alias mistral-large-latest, der laut offizieller Spezifikation (verifiziert am 3. November 2026) weiterhin auf Mistral Large 3 verweist. Ebenso verweist mistral-medium-latest auf Mistral Medium 3.5. Diese Aliase bleiben bis zum 30. April 2027 gültig. Für neue Projekte testen Sie mistral-large-4, ihren benannten Nachfolger.

Was ist die Vision API?

Sprachmodelle beschränken sich nicht mehr nur auf Text. Seit 2024 bietet Mistral AI multimodale Modelle an, die Text und Bilder gleichzeitig analysieren können. Diese Fähigkeit, als Vision bezeichnet, verändert die Art der Aufgaben, die Sie automatisieren können: Eine fotografierte Rechnung, ein Dashboard-Screenshot oder ein technisches Diagramm sind nicht mehr undurchsichtige Anhänge, die ein Mensch öffnen muss. Stattdessen werden sie zu Eingaben, die Ihr Code abfragt, genau wie er eine Zeichenfolge abfragen würde.

Der Anwendungsbereich ist breit: Dokumentenanalyse, Diagrammlesung und visuelle Datenerfassung. Eine Buchhaltungsfirma, die pro Monat dreihundert gescannte Quittungen erhält, kann das Modell bitten, die Beträge zu lesen; ein Produktteam kann Screenshots, die von Nutzern eingereicht wurden, automatisch beschreiben. In diesem Kurs lernen Sie, die Mistral Vision API zu nutzen, um diese Art der Analyse in Ihre Python-Anwendungen zu integrieren. Jede Lektion kombiniert eine Erklärung des Mechanismus mit sofort einsatzbereitem Code.

Warum Mistral Vision verwenden?

Das erste Argument ist das Fehlen technischer Störungen. Sie rufen denselben chat.complete()-Endpunkt auf, der für Text verwendet wird: Es gibt keine separate API zu lernen und keinen separaten Client zu instanzen. Sie fügen einfach Bilder zur Nachricht hinzu. Ein Projekt, das bereits auf Textgenerierung basiert, kann Vision ohne Redesign integrieren.

Das zweite Argument ist die Modellwahl. Von leistungsfähigsten Modellen wie Mistral Large 3 bis hin zu den leichtesten Modellen der Ministral 3-Familie passen Sie das Verhältnis von Qualität zu Kosten an Ihren Fall an: ein schweres Modell für die feingranulare Analyse eines Finanzdiagramms, ein leichtes Modell, um zehntausend Fotos nach Kategorien zu sortieren. Sie treffen diese Anpassung mit einer einzigen Zeile Code, wie Sie in Lektion 3 sehen werden.

Zwei weitere strategische Überlegungen kommen hinzu. Das Nachrichtenformat folgt dem OpenAI-ähnlichen Standard, was die Migration von einem anderen Anbieter erleichtert: Der Code zum Erstellen von Nachrichten bleibt praktisch unverändert. Und da Mistral ein französisches Unternehmen ist, können Ihre Daten in Europa verbleiben, was bei Bildern mit persönlichen oder vertraglichen Informationen oft ein entscheidender Faktor ist.

Verfügbare Vision-Modelle

Fünf Mistral-Modelle unterstützen Vision. Jedes wird durch eine API-ID identifiziert, die Sie an den model-Parameter übergeben.

Alle diese Modelle akzeptieren Bilder als Eingabe über die Chat Completions API. Mit anderen Worten: Der Code, den Sie im Folgenden schreiben werden, funktioniert mit allen fünf Modellen identisch.

In dieser Tabelle koexistieren zwei Formen von Identifikatoren, und die Wahl zwischen ihnen ist eine architektonische Entscheidung. Die -latest-Aliase verfolgen automatisch die aktuelle Version des Modells: Ihre Aufrufe profitieren von Verbesserungen, ohne dass Sie Ihren Code ändern müssen, auf Kosten eines Verhaltens, das sich unter Ihren Füßen verändern kann. Datumsbezogene Identifikatoren wie mistral-large-2512 fixieren eine spezifische Version: Das Verhalten bleibt stabil, aber Sie müssen Rücknahmen (Deprecations) verfolgen. Verwenden Sie den Alias für ein Prototypenprojekt; für eine Produktionspipeline mit validierten Ausgaben fixieren Sie die Version und planen Sie Ihre Upgrades.

Ihr erster Vision-Aufruf

Hier ist ein minimales Beispiel, um ein Bild an Mistral zu senden und eine Beschreibung zu erhalten:

from mistralai.client import Mistral

client = Mistral(api_key="YOUR_API_KEY")

response = client.chat.complete(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Beschreiben Sie dieses Bild im Detail."},
                {
                    "type": "image_url",
                    "image_url": "https://example.com/photo.jpg"
                }
            ]
        }
    ]
)

print(response.choices[0].message.content)

Ein Detail unterscheidet diesen Aufruf von einem standardmäßigen Textaufruf, und es lohnt sich, darauf zu achten: Das content-Feld der Benutzer-Nachricht ist ein Array (eine Liste) statt einer einfachen Zeichenfolge. Diese Struktur ermöglicht es, Text und Bilder in einer einzigen Runde zu mischen.

Struktur einer multimodalen Nachricht

Eine standardmäßige textbasierte Nachricht passt auf eine Zeile:

{"role": "user", "content": "Hallo, wie geht es Ihnen?"}

Eine multimodale Nachricht ersetzt diese Zeichenfolge durch eine Liste von typisierten Elementen, jedes davon angekündigt durch sein type-Feld:

{
    "role": "user",
    "content": [
        {"type": "text", "text": "Ihre Frage hier"},
        {"type": "image_url", "image_url": "URL oder Data URI des Bildes"}
    ]
}

Es zwingt niemanden, sich auf ein Element jeder Art zu beschränken. Sie können mehrere text- und image_url-Elemente in einer einzigen Nachricht enthalten. Genau dies ermöglicht es Ihnen beispielsweise, ein Referenzbild vorzustellen und dann ein Bild zum Vergleich einzufügen, wobei Sie jedes mit einem Satz einleiten. Dies werden wir in den folgenden Lektionen im Detail behandeln.

Was Sie in diesem Kurs lernen werden

Dieser 12-Lektionen-Kurs schreitet vom Mechanismus zur Anwendung vor. Lektionen 1 bis 3 befassen sich mit multimodalen Modellen: Was passiert eigentlich, wenn ein Bild in das Modell eingeht, und wie wählen Sie dasjenige aus, das zu Ihrer Arbeitslast passt. Lektionen 4 bis 6 befassen sich mit dem Senden von Bildern, per URL, in Base64 und anschließend mehreren Bildern in einer einzigen Nachricht. Lektionen 7 bis 10 gehen konkreten Anwendungsfällen nach – Diagrammanalyse, OCR, strukturierte Extraktion und Bildvergleich. Lektionen 11 und 12 runden das Thema mit Grenzen, Kostenoptimierung und möglichen Erweiterungen ab.

Kernaussagen

• Die Mistral Vision API verwendet denselben Endpunkt wie den Text-Chat
• Die Benutzer-Nachricht wird zu einem Array, das text- und image_url-Elemente enthält
• Fünf Modelle unterstützen Vision, vom leistungsfähigsten bis zum leichtesten
• Mistral ist eine relevante Wahl für Projekte, die europäische Datenhoheit erfordern