Bildverständnis in der Websuche
Auf dieser Seite
Analyse von im Web gefundenen Bildern
Die Websuche geht über reinen Text hinaus. Mit dem Parameter enable_image_understanding können Sie das Modell anweisen, Bilder zu analysieren, die es während seiner Websuche findet. Diese Funktion erweitert die Suchfähigkeiten erheblich, insbesondere bei visuellen Fragen oder Themen, bei denen Bilder Informationen liefern, die den Text ergänzen.
Aktivierung
Aktivieren Sie diese Funktion, indem Sie den Parameter enable_image_understanding in Ihre Websuche-Konfiguration aufnehmen:
{
"tools": [{
"type": "web_search",
"enable_image_understanding": true
}]
}
Sobald aktiviert, kann das Modell das interne Tool view_image nutzen, um während der Suche gefundene Bilder zu analysieren. Es entscheidet automatisch, welche Bilder relevant sind.
SDK-Syntax
xAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Zeigen Sie mir die Transformer-Architektur und erklären Sie jeden Bestandteil",
tools=[client.tools.web_search(
enable_image_understanding=True
)]
)
OpenAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Zeigen Sie mir die Transformer-Architektur",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Vercel AI SDK
tools: [xai.tools.webSearch({
enableImageUnderstanding: true
})]
Anwendungsfälle
Analyse technischer Diagramme
Das Modell kann Architekturdiagramme, Flussdiagramme oder technische Graphen finden und interpretieren. Dies ist besonders nützlich bei Fragen zu Softwarearchitekturen oder industriellen Prozessen.
Visueller Produktvergleich
Bei Vergleichsanfragen kann das Modell Screenshots oder Produktfotos, die im Web gefunden wurden, analysieren und daraus relevante Beobachtungen ableiten.
Visuelle Datenanalyse
Wenn Ihre Frage sich auf als Diagramme oder visuelle Tabellen dargestellte Daten bezieht, ermöglicht das Bildverständnis dem Modell, Informationen aus diesen visuellen Darstellungen zu extrahieren.
Kombination mit anderen Parametern
Das Bildverständnis lässt sich mit der Domänenfilterung kombinieren:
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Analysieren Sie die neuesten Benchmarks für LLM-Leistung",
tools=[{
"type": "web_search",
"allowed_domains": ["arxiv.org", "huggingface.co"],
"enable_image_understanding": True
}]
)
Das Modell sucht ausschließlich in den erlaubten Domänen und kann Benchmark-Diagramme, die in Publikationen zu finden sind, analysieren.
Kostenwirkung
Die Aktivierung des Bildverständnisses erhöht den Token-Verbrauch. Die Analyse jedes Bildes erzeugt zusätzliche Tokens für die Eingabe (das codierte Bild) und die Ausgabe (die Beschreibung/die Analyse). Die Kosten pro Aufruf bleiben gleich ($0,005), aber das Token-Volumen pro Anfrage kann erheblich steigen.
Aktivieren Sie diese Funktion nur, wenn Bilder Ihrem Anwendungsfall echten Mehrwert bieten. Bei rein textbasierten Suchen lassen Sie diesen Parameter deaktiviert, um Kosten zu optimieren.
Unterschied zu X Search
Das Bildverständnis ist sowohl für die Websuche als auch für X Search verfügbar. Video-verständnis (enable_video_understanding) ist jedoch ausschließlich für X Search verfügbar. Die Websuche kann Videos, die im Web gefunden werden, nicht analysieren.
Kernaussagen
- Aktivieren Sie die Funktion mit
enable_image_understanding: truein der Websuche-Konfiguration. - Das Modell nutzt intern das Tool
view_image, um relevante Bilder zu analysieren. - Nützlich für Diagramme, Diagramme, Screenshots und visuelle Vergleiche.
- Erhöht den Token-Verbrauch – aktivieren Sie es nur, wenn es relevant ist.
- Kombiniert sich mit der Domänenfilterung für eine präzise Quellensteuerung.
- Video-Verständnis ist ausschließlich für X Search verfügbar.