Porozumění obrázkům při vyhledávání na webu
Na této stránce
Analýza obrázků nalezených na webu
Vyhledávání na webu jde nad rámec pouhého textu. Díky parametru enable_image_understanding můžeš model požádat, aby analyzoval obrázky, na které narazí během svého vyhledávání na webu. Tato funkce výrazně rozšiřuje možnosti vyhledávání, zejména u vizuálních otázek nebo témat, kde obrázky poskytují informace doplňující text.
Aktivace
Tuto funkci aktivuješ přidáním parametru enable_image_understanding do konfigurace vyhledávání na webu:
{
"tools": [{
"type": "web_search",
"enable_image_understanding": true
}]
}
Po aktivaci může model použít interní nástroj view_image k analýze obrázků nalezených během vyhledávání. Automaticky se rozhoduje, které obrázky jsou relevantní k prozkoumání.
Syntaxe SDK
xAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture and explain each component",
tools=[client.tools.web_search(
enable_image_understanding=True
)]
)
OpenAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Vercel AI SDK
tools: [xai.tools.webSearch({
enableImageUnderstanding: true
})]
Případy použití
Analýza technických diagramů
Model dokáže najít a interpretovat architektonické diagramy, vývojové schémata nebo technické grafy. To je obzvláště užitečné pro otázky týkající se softwarových architektur nebo průmyslových procesů.
Vizuální porovnání produktů
U dotazů zaměřených na porovnávání může model analyzovat snímky obrazovky nebo fotografie produktů nalezené na webu a vyvodit z nich relevantní závěry.
Analýza vizuálních dat
Pokud se tvůj dotaz týká dat prezentovaných jako grafy nebo vizuální tabulky, porozumění obrázkům umožňuje modelu extrahovat informace z těchto vizuálních reprezentací.
Kombinace s dalšími parametry
Porozumění obrázkům lze kombinovat s filtrováním domén:
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Analyze the latest LLM performance benchmarks",
tools=[{
"type": "web_search",
"allowed_domains": ["arxiv.org", "huggingface.co"],
"enable_image_understanding": True
}]
)
Model bude vyhledávat pouze v povolených doménách a může analyzovat grafy benchmarků nalezené v publikacích.
Dopad na náklady
Aktivace porozumění obrázkům zvyšuje spotřebu tokenů. Analýza každého obrázku generuje další tokeny pro vstup (kódovaný obrázek) i výstup (popis/analýza). Cena za jedno volání zůstává stejná (0,005 $), ale objem tokenů na žádost se může výrazně zvýšit.
Tuto funkci povol pouze tehdy, když obrázky přinášejí pro tvůj případ použití skutečnou hodnotu. Pro vyhledávání založené čistě na textu nech tento parametr deaktivovaný, abys optimalizoval náklady.
Rozdíl oproti X Search
Porozumění obrázkům je dostupné jak pro vyhledávání na webu (Web Search), tak pro X Search. Nicméně porozumění videím (enable_video_understanding) je výhradní funkcí X Search. Vyhledávání na webu nemůže analyzovat videa nalezená na webu.
Klíčové poznatky
- Aktivuj pomocí
enable_image_understanding: truev konfiguraci vyhledávání na webu - Model interně používá
view_imagek analýze relevantních obrázků - Užitečné pro diagramy, grafy, snímky obrazovky a vizuální porovnání
- Zvyšuje spotřebu tokenů – povol pouze v případě potřeby
- Lze kombinovat s filtrováním domén pro přesnou kontrolu zdrojů
- Porozumění videím je výhradní funkcí X Search