Bilder analysieren, die von Websuchen gefunden wurden
Auf dieser Seite
Über Text hinaus mit Bildanalyse
Die Websuche beschränkt sich nicht auf Text. Wenn Sie den Parameter enable_image_understanding aktivieren, kann das Grok-Model Bilder analysieren, die während seiner Suche gefunden wurden. Dies eröffnet neue Möglichkeiten: Die Interpretation von Diagrammen, das Lesen von Infografiken, das Verständnis von Screenshots oder die Analyse von Nachrichtenfotos.
Diese Fähigkeit ist besonders nützlich für Anwendungsfälle, bei denen visuelle Informationen Text ergänzen oder ersetzen, wie z. B. die Analyse von Trends aus Aktienkursdiagrammen, das Verständnis technischer Diagramme oder das Extrahieren von Daten aus Tabellen, die als Bilder veröffentlicht wurden.
Bildanalyse aktivieren
Sie aktivieren dies über den Parameter enable_image_understanding in der Konfiguration des web_search-Tools:
response = client.responses.create(
model="grok-4.5",
input="Zeigen Sie mir die Entwicklung des Tesla-Aktienkurses diese Woche",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Wenn dieser Parameter aktiviert ist, hat das Model Zugriff auf ein zusätzliches internes Tool namens view_image. Es kann dieses Tool aufrufen, um Bilder zu untersuchen, die während seiner Suche gefunden wurden, und relevante Informationen zu extrahieren.
Funktionsweise
Der Prozess läuft in mehreren Phasen ab:
- Das Model führt eine Standard-Websuche durch.
- Unter den Ergebnissen identifiziert es potenziell relevante Bilder.
- Es verwendet das
view_image-Tool, um diese Bilder zu analysieren. - Es integriert die visuellen Informationen in seine finale Antwort.
Sie müssen keine zusätzlichen Interaktionen handhaben. Das Model orchestriert alles autonom.
Kombination von Bereichsfilterung und Bildanalyse
Sie können die Bildanalyse gleichzeitig mit der Bereichsfilterung aktivieren:
response = client.responses.create(
model="grok-4.5",
input="Visuelle Zusammenfassung der neuesten Veröffentlichungen auf arxiv im Bereich Computer Vision",
tools=[{
"type": "web_search",
"allowed_domains": ["arxiv.org"],
"enable_image_understanding": True
}]
)
| Parameter | Typ | Standardwert | Beschreibung |
|---|---|---|---|
| allowed_domains | Array | [] | Erlaubte Domains (max. 5) |
| excluded_domains | Array | [] | Ausgeschlossene Domains (max. 5) |
| enable_image_understanding | Boolean | false | Aktiviert die Analyse gefundener Bilder |
Relevante Anwendungsfälle
Überwachung des visuellen Markenbildes
Überwachen Sie, wie sich Ihre Marke visuell im Internet darstellt: verwendete Logos, Screenshots Ihres Produkts, Infografiken, die Ihr Unternehmen erwähnen.
response = client.responses.create(
model="grok-4.5",
input="Wie wird die Marke Corsen AI visuell im Internet dargestellt?",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Visuelle Datenanalyse
Interpretieren Sie Diagramme und Tabellen, die in Online-Berichten veröffentlicht wurden, ohne sie manuell herunterladen zu müssen:
response = client.responses.create(
model="grok-4.5",
input="Analysieren Sie die Diagramme zum Wachstum des europäischen KI-Marktes, die kürzlich veröffentlicht wurden",
tools=[{
"type": "web_search",
"allowed_domains": ["statista.com", "mckinsey.com"],
"enable_image_understanding": True
}]
)
Einschränkungen, die zu beachten sind
Die Bildanalyse erhöht die Antwortzeit, da das Model visuelle Daten zusätzlich zu Text verarbeiten muss. Sie verbraucht auch mehr Output-Tokens. Aktivieren Sie sie nur, wenn visuelle Informationen dem Ergebnis echten Mehrwert bieten.
Die Qualität der Analyse hängt auch von der Auflösung und der Klarheit der gefundenen Bilder ab. Hochauflösende Diagramme mit lesbaren Beschriftungen liefern bessere Ergebnisse als unscharfe oder überladene Bilder.
Praktische Übung
Erstellen Sie ein Skript, das Grok auffordert, visuelle Trends in einem Sektor zu analysieren (z. B. Leistungsdiagramme für einen Aktienindex oder Infografiken aus einem Branchenbericht). Vergleichen Sie die Reichhaltigkeit der erhaltenen Antwort mit und ohne enable_image_understanding.
Kernaussagen
- Der Parameter
enable_image_understandingermöglicht es dem Model, Bilder aus Suchergebnissen zu analysieren. - Das Model verwendet das interne Tool
view_image, um relevante visuelle Inhalte zu untersuchen. - Dieser Parameter kann mit
allowed_domainsoderexcluded_domainskombiniert werden. - Die Bildanalyse erhöht die Verarbeitungszeit und den Tokenverbrauch.
- Diese Funktion ist ideal für visuelles Monitoring, Diagrammanalyse und das Extrahieren von Daten aus Infografiken.