Vision: Bilder mit Grok analysieren
Auf dieser Seite
Bildverständnis mit Chat-Completions
Grok-Modelle (ab grok-4.5) verfügen über Vision-Fähigkeiten, die es ermöglichen, Bilder zu analysieren, zu beschreiben und zu interpretieren. Diese Funktion nutzen Sie über das Array-Format des content-Felds, indem Sie text- und image_url-Objekte kombinieren.
Die Anwendungsfälle sind vielfältig: Extrahieren von Text aus gescannten Dokumenten (OCR), Analyse von Diagrammen, Beschreibung von Benutzeroberflächen, visueller Vergleich oder Interpretation technischer Zeichnungen.
Bild über URL senden
Der einfachste Weg besteht darin, die öffentliche URL des Bildes anzugeben:
from openai import OpenAI
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Beschreiben Sie, was Sie in diesem Bild sehen."},
{
"type": "image_url",
"image_url": {
"url": "https://example.com/photo-architecture.jpg",
"detail": "high"
}
}
]
}
]
)
print(response.choices[0].message.content)
Die xAI-Server laden das Bild zum Zeitpunkt der Anfrage herunter. Es muss öffentlich zugänglich sein.
Bild in Base64 senden
Für lokale oder private Bilder verwenden Sie die Base64-Kodierung:
import base64
def encode_image(image_path: str) -> str:
with open(image_path, "rb") as f:
return base64.b64encode(f.read()).decode("utf-8")
image_data = encode_image("capture-ecran.png")
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Welcher Text ist in diesem Screenshot sichtbar?"},
{
"type": "image_url",
"image_url": {
"url": f"data:image/png;base64,{image_data}"
}
}
]
}
]
)
Das URL-Format lautet data:image/{format};base64,{data}, wobei {format} jpeg, jpg oder png ist.
Detailstufen: auto, low und high
Der detail-Parameter steuert die Auflösung, in der das Modell das Bild analysiert:
detail: “low”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/icone.png",
"detail": "low"
}
}
Das Bild wird vor der Analyse auf eine niedrige Auflösung herunterskaliert. Dies ist der schnellste Modus und verbraucht die wenigsten Tokens. Verwenden Sie ihn für einfache Bilder: Symbole, Logos, grundlegende Diagramme.
detail: “high”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/document-scan.jpg",
"detail": "high"
}
}
Das Bild wird in hoher Auflösung analysiert. Das Modell kann kleinen Text lesen, feine Details identifizieren und bestimmte Bereiche analysieren. Dies ist der empfohlene Modus für Dokumente, Screenshots und detaillierte Fotografien.
detail: “auto”
Das Modell wählt die Detailstufe automatisch basierend auf der Größe und Komplexität des Bildes. Dies ist der Standardwert, wenn Sie den Parameter weglassen.
Mehrere Bilder analysieren
Sie können mehrere Bilder in einer einzigen Nachricht senden, um Vergleiche oder Querschnittsanalysen durchzuführen:
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Vergleichen Sie diese beiden Versionen des Designs. Welche Unterschiede gibt es?"},
{"type": "image_url", "image_url": {"url": "https://example.com/v1.png", "detail": "high"}},
{"type": "image_url", "image_url": {"url": "https://example.com/v2.png", "detail": "high"}}
]
}
]
)
Es gibt keine Obergrenze für die Anzahl der Bilder pro Anfrage, jedes Bild verbraucht jedoch zusätzliche Tokens.
Technische Einschränkungen
Beachten Sie diese Grenzen bei der Verwendung von Vision:
- Maximale Größe: 20 MiB pro Bild
- Unterstützte Formate: Nur JPG, JPEG und PNG
- Kompatible Modelle: grok-4 und höher (ältere Modelle unterstützen keine Vision)
- Tokens: Bilder verbrauchen Tokens, die sich zum Textkosten der Anfrage hinzufügen
Kernaussagen
- Vision verwendet das Array-Format des
content-Felds mitimage_url-Objekten - Bilder können über eine öffentliche URL oder in Base64 gesendet werden
- Drei Detailstufen:
auto(Standard),low(schnell/wirtschaftlich) undhigh(detailliert) - Maximale Größe von 20 MiB pro Bild, nur JPG- und PNG-Formate
- Mehrere Bilder können in einer einzigen Nachricht für Vergleiche gesendet werden