Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

Bildanalyse mit der Grok-API

Lektion 11 von 14 Aktualisiert am 30. Juli 2026 Entwickler
Auf dieser Seite
  1. Computer Vision mit der Grok-API
  2. Format der Bildeingabe
  3. Python-Beispiel
  4. Mit dem Chat/Completions-Format
  5. Bild im Base64-Format senden
  6. Praxisnahe Anwendungsfälle
  7. Modelle mit Bildunterstützung
  8. Kernaussagen

Computer Vision mit der Grok-API

Grok-Modelle mit Unterstützung für Bildverarbeitung können sowohl Bilder als auch Text analysieren. Sie senden ein Bild (per URL oder im Base64-Format) zusammen mit einer Frage, und das Modell beschreibt es, analysiert es oder extrahiert visuelle Informationen. Diese Fähigkeit eröffnet konkrete Anwendungsmöglichkeiten: Extraktion von Daten aus Screenshots, Analyse von Diagrammen, Lesen von gescannten Dokumenten.

Format der Bildeingabe

Um ein Bild zu senden, verwenden Sie ein Array aus gemischtem Inhalt (Text und Bild) im Feld input:

[
  {
    "type": "input_image",
    "image_url": "https://exemple.com/mon-image.jpg"
  },
  {
    "type": "input_text",
    "text": "Was sehen Sie in diesem Bild?"
  }
]

Der Typ input_image erwartet eine öffentliche URL zum Bild. Der Typ input_text enthält Ihre Frage oder Anweisung.

Python-Beispiel

from openai import OpenAI
import os

client = OpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1"
)

response = client.responses.create(
    model="grok-4.5",
    input=[
        {
            "type": "input_image",
            "image_url": "https://exemple.com/graphique-ventes.png"
        },
        {
            "type": "input_text",
            "text": "Analysieren Sie dieses Diagramm. Welcher ist der Haupttrend?"
        }
    ]
)

print(response.output[0].content[0].text)

Mit dem Chat/Completions-Format

Verwenden Sie das veraltete Endpunkt /v1/chat/completions, ist das Format leicht anders:

response = client.chat.completions.create(
    model="grok-4.5",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image_url",
                    "image_url": {"url": "https://exemple.com/photo.jpg"}
                },
                {
                    "type": "text",
                    "text": "Beschreiben Sie dieses Bild im Detail."
                }
            ]
        }
    ]
)

Formatunterschiede

EndpunktBildtypTexttyp
/v1/responsesinput_imageinput_text
/v1/chat/completionsimage_urltext

Bild im Base64-Format senden

Wenn Ihr Bild nicht über eine URL erreichbar ist (lokale Datei, generiertes Bild), codieren Sie es im Base64-Format:

import base64

with open("capture.png", "rb") as f:
    image_base64 = base64.b64encode(f.read()).decode("utf-8")

response = client.responses.create(
    model="grok-4.5",
    input=[
        {
            "type": "input_image",
            "image_url": f"data:image/png;base64,{image_base64}"
        },
        {
            "type": "input_text",
            "text": "Lesen Sie den Text in diesem Screenshot."
        }
    ]
)

Praxisnahe Anwendungsfälle

Datenerfassung

Senden Sie ein Foto einer Rechnung oder eines Belegs und bitten Sie das Modell, die Beträge, Daten und Referenznummern zu extrahieren.

Diagrammanalyse

Reichen Sie ein Diagramm oder eine Grafik ein und bitten Sie um eine Interpretation der Trends und der Schlüsselfiguren.

Programmierhilfe

Teilen Sie einen Screenshot eines Fehlers in Ihrer IDE und bitten Sie um eine Erklärung und eine Lösung.

Schnittstellenbeschreibung

Senden Sie ein Mockup oder einen Screenshot und bitten Sie das Modell, die Schnittstellenelemente zu beschreiben, die es enthält.

Modelle mit Bildunterstützung

Nicht jedes Grok-Modell unterstützt Bildverarbeitung. Verwenden Sie grok-4.5, das Bildunterstützung beinhaltet. „Mini”- oder „fast”-Modelle können eine eingeschränkte oder keine Unterstützung bieten.

Kernaussagen

  • Verwenden Sie den Typ input_image mit dem Endpunkt /v1/responses, um Bilder zu senden.
  • Sie können Bilder über eine öffentliche URL oder im Base64-kodierten Format senden.
  • Das Modell grok-4.5 unterstützt die Bildanalyse.
  • Kombinieren Sie Bild und Text in einem Array, um Fragen zu visuellen Inhalten zu stellen.