Bildanalyse mit der Grok-API
Auf dieser Seite
Computer Vision mit der Grok-API
Grok-Modelle mit Unterstützung für Bildverarbeitung können sowohl Bilder als auch Text analysieren. Sie senden ein Bild (per URL oder im Base64-Format) zusammen mit einer Frage, und das Modell beschreibt es, analysiert es oder extrahiert visuelle Informationen. Diese Fähigkeit eröffnet konkrete Anwendungsmöglichkeiten: Extraktion von Daten aus Screenshots, Analyse von Diagrammen, Lesen von gescannten Dokumenten.
Format der Bildeingabe
Um ein Bild zu senden, verwenden Sie ein Array aus gemischtem Inhalt (Text und Bild) im Feld input:
[
{
"type": "input_image",
"image_url": "https://exemple.com/mon-image.jpg"
},
{
"type": "input_text",
"text": "Was sehen Sie in diesem Bild?"
}
]
Der Typ input_image erwartet eine öffentliche URL zum Bild. Der Typ input_text enthält Ihre Frage oder Anweisung.
Python-Beispiel
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": "https://exemple.com/graphique-ventes.png"
},
{
"type": "input_text",
"text": "Analysieren Sie dieses Diagramm. Welcher ist der Haupttrend?"
}
]
)
print(response.output[0].content[0].text)
Mit dem Chat/Completions-Format
Verwenden Sie das veraltete Endpunkt /v1/chat/completions, ist das Format leicht anders:
response = client.chat.completions.create(
model="grok-4.5",
messages=[
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {"url": "https://exemple.com/photo.jpg"}
},
{
"type": "text",
"text": "Beschreiben Sie dieses Bild im Detail."
}
]
}
]
)
Formatunterschiede
| Endpunkt | Bildtyp | Texttyp |
|---|---|---|
/v1/responses | input_image | input_text |
/v1/chat/completions | image_url | text |
Bild im Base64-Format senden
Wenn Ihr Bild nicht über eine URL erreichbar ist (lokale Datei, generiertes Bild), codieren Sie es im Base64-Format:
import base64
with open("capture.png", "rb") as f:
image_base64 = base64.b64encode(f.read()).decode("utf-8")
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": f"data:image/png;base64,{image_base64}"
},
{
"type": "input_text",
"text": "Lesen Sie den Text in diesem Screenshot."
}
]
)
Praxisnahe Anwendungsfälle
Datenerfassung
Senden Sie ein Foto einer Rechnung oder eines Belegs und bitten Sie das Modell, die Beträge, Daten und Referenznummern zu extrahieren.
Diagrammanalyse
Reichen Sie ein Diagramm oder eine Grafik ein und bitten Sie um eine Interpretation der Trends und der Schlüsselfiguren.
Programmierhilfe
Teilen Sie einen Screenshot eines Fehlers in Ihrer IDE und bitten Sie um eine Erklärung und eine Lösung.
Schnittstellenbeschreibung
Senden Sie ein Mockup oder einen Screenshot und bitten Sie das Modell, die Schnittstellenelemente zu beschreiben, die es enthält.
Modelle mit Bildunterstützung
Nicht jedes Grok-Modell unterstützt Bildverarbeitung. Verwenden Sie grok-4.5, das Bildunterstützung beinhaltet. „Mini”- oder „fast”-Modelle können eine eingeschränkte oder keine Unterstützung bieten.
Kernaussagen
- Verwenden Sie den Typ
input_imagemit dem Endpunkt/v1/responses, um Bilder zu senden. - Sie können Bilder über eine öffentliche URL oder im Base64-kodierten Format senden.
- Das Modell
grok-4.5unterstützt die Bildanalyse. - Kombinieren Sie Bild und Text in einem Array, um Fragen zu visuellen Inhalten zu stellen.