Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

Vision: Bilder mit Grok analysieren

Lektion 7 von 12 Aktualisiert am 30. Juli 2026 Entwickler
Auf dieser Seite
  1. Bildverständnis mit Chat-Completions
  2. Bild über URL senden
  3. Bild in Base64 senden
  4. Detailstufen: auto, low und high
  5. Mehrere Bilder analysieren
  6. Technische Einschränkungen
  7. Kernaussagen

Bildverständnis mit Chat-Completions

Grok-Modelle (ab grok-4.5) verfügen über Vision-Fähigkeiten, die es ermöglichen, Bilder zu analysieren, zu beschreiben und zu interpretieren. Diese Funktion nutzen Sie über das Array-Format des content-Felds, indem Sie text- und image_url-Objekte kombinieren.

Die Anwendungsfälle sind vielfältig: Extrahieren von Text aus gescannten Dokumenten (OCR), Analyse von Diagrammen, Beschreibung von Benutzeroberflächen, visueller Vergleich oder Interpretation technischer Zeichnungen.

Bild über URL senden

Der einfachste Weg besteht darin, die öffentliche URL des Bildes anzugeben:

from openai import OpenAI

client = OpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1"
)

response = client.chat.completions.create(
    model="grok-4.20-0309-reasoning",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Beschreiben Sie, was Sie in diesem Bild sehen."},
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://example.com/photo-architecture.jpg",
                        "detail": "high"
                    }
                }
            ]
        }
    ]
)

print(response.choices[0].message.content)

Die xAI-Server laden das Bild zum Zeitpunkt der Anfrage herunter. Es muss öffentlich zugänglich sein.

Bild in Base64 senden

Für lokale oder private Bilder verwenden Sie die Base64-Kodierung:

import base64

def encode_image(image_path: str) -> str:
    with open(image_path, "rb") as f:
        return base64.b64encode(f.read()).decode("utf-8")

image_data = encode_image("capture-ecran.png")

response = client.chat.completions.create(
    model="grok-4.20-0309-reasoning",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Welcher Text ist in diesem Screenshot sichtbar?"},
                {
                    "type": "image_url",
                    "image_url": {
                        "url": f"data:image/png;base64,{image_data}"
                    }
                }
            ]
        }
    ]
)

Das URL-Format lautet data:image/{format};base64,{data}, wobei {format} jpeg, jpg oder png ist.

Detailstufen: auto, low und high

Der detail-Parameter steuert die Auflösung, in der das Modell das Bild analysiert:

detail: “low”

{
  "type": "image_url",
  "image_url": {
    "url": "https://example.com/icone.png",
    "detail": "low"
  }
}

Das Bild wird vor der Analyse auf eine niedrige Auflösung herunterskaliert. Dies ist der schnellste Modus und verbraucht die wenigsten Tokens. Verwenden Sie ihn für einfache Bilder: Symbole, Logos, grundlegende Diagramme.

detail: “high”

{
  "type": "image_url",
  "image_url": {
    "url": "https://example.com/document-scan.jpg",
    "detail": "high"
  }
}

Das Bild wird in hoher Auflösung analysiert. Das Modell kann kleinen Text lesen, feine Details identifizieren und bestimmte Bereiche analysieren. Dies ist der empfohlene Modus für Dokumente, Screenshots und detaillierte Fotografien.

detail: “auto”

Das Modell wählt die Detailstufe automatisch basierend auf der Größe und Komplexität des Bildes. Dies ist der Standardwert, wenn Sie den Parameter weglassen.

Mehrere Bilder analysieren

Sie können mehrere Bilder in einer einzigen Nachricht senden, um Vergleiche oder Querschnittsanalysen durchzuführen:

response = client.chat.completions.create(
    model="grok-4.20-0309-reasoning",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Vergleichen Sie diese beiden Versionen des Designs. Welche Unterschiede gibt es?"},
                {"type": "image_url", "image_url": {"url": "https://example.com/v1.png", "detail": "high"}},
                {"type": "image_url", "image_url": {"url": "https://example.com/v2.png", "detail": "high"}}
            ]
        }
    ]
)

Es gibt keine Obergrenze für die Anzahl der Bilder pro Anfrage, jedes Bild verbraucht jedoch zusätzliche Tokens.

Technische Einschränkungen

Beachten Sie diese Grenzen bei der Verwendung von Vision:

  • Maximale Größe: 20 MiB pro Bild
  • Unterstützte Formate: Nur JPG, JPEG und PNG
  • Kompatible Modelle: grok-4 und höher (ältere Modelle unterstützen keine Vision)
  • Tokens: Bilder verbrauchen Tokens, die sich zum Textkosten der Anfrage hinzufügen

Kernaussagen

  • Vision verwendet das Array-Format des content-Felds mit image_url-Objekten
  • Bilder können über eine öffentliche URL oder in Base64 gesendet werden
  • Drei Detailstufen: auto (Standard), low (schnell/wirtschaftlich) und high (detailliert)
  • Maximale Größe von 20 MiB pro Bild, nur JPG- und PNG-Formate
  • Mehrere Bilder können in einer einzigen Nachricht für Vergleiche gesendet werden