Analýza obrázků nalezených při webovém vyhledávání
Na této stránce
Jdi za text díky analýze obrázků
Webové vyhledávání se neomezuje jen na text. Když povolíš parametr enable_image_understanding, model Grok dokáže analyzovat obrázky nalezené během svého hledání. Otevírá to nové možnosti: interpretaci grafů, čtení infografik, pochopení screenshotů nebo analýzu novinářských fotografií.
Tato schopnost je obzvlášť užitečná pro případy, kdy vizuální informace doplňuje nebo nahrazuje text, například při analýze trendů z burzovních grafů, pochopení technických diagramů nebo extrakci dat z tabulek publikovaných jako obrázky.
Povolení porozumění obrázkům
Tuto funkci povolíš pomocí parametru enable_image_understanding v konfiguraci nástroje web_search:
response = client.responses.create(
model="grok-4.5",
input="Show me the evolution of Tesla's stock price this week",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Když je tento parametr povolen, model získá přístup k dalšímu internímu nástroji s názvem view_image. Může tento nástroj vyvolat k prozkoumání obrázků, na které narazí během hledání, a extrahovat z nich relevantní informace.
Jak to funguje
Proces probíhá v několika fázích:
- Model provede standardní webové vyhledávání
- Mezi výsledky identifikuje potenciálně relevantní obrázky
- Pomocí nástroje
view_imagetyto obrázky analyzuje - Vizuální informace integruje do své konečné odpovědi
Nemusíš řešit žádnou další interakci. Model vše orchestruje autonomně.
Kombinace filtrování domén a analýzy obrázků
Analýzu obrázků můžeš povolit současně s filtrováním domén:
response = client.responses.create(
model="grok-4.5",
input="Visual summary of the latest publications on arxiv in computer vision",
tools=[{
"type": "web_search",
"allowed_domains": ["arxiv.org"],
"enable_image_understanding": True
}]
)
| Parameter | Type | Default value | Description |
|---|---|---|---|
| allowed_domains | array | [] | Allowed domains (max 5) |
| excluded_domains | array | [] | Excluded domains (max 5) |
| enable_image_understanding | boolean | false | Enables analysis of found images |
Relevantní případy použití
Vizuální monitoring značky
Sleduj, jak se tvá značka vizuálně objevuje online: používaná loga, screenshoty tvého produktu, infografiky zmiňující tvou společnost.
response = client.responses.create(
model="grok-4.5",
input="How is the Corsen AI brand represented visually online?",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Vizuální analýza dat
Interpretuj grafy a tabulky publikované v online zprávách, aniž bys je musel ručně stahovat:
response = client.responses.create(
model="grok-4.5",
input="Analyze the European AI market growth charts published recently",
tools=[{
"type": "web_search",
"allowed_domains": ["statista.com", "mckinsey.com"],
"enable_image_understanding": True
}]
)
Omezení, která je dobré znát
Analýza obrázků zvyšuje dobu odezvy, protože model musí zpracovávat vizuální data navíc k textu. Také spotřebovává více výstupních tokenů. Povoluj ji pouze tehdy, když vizuální informace přináší do odpovědi skutečnou hodnotu.
Kvalita analýzy závisí také na rozlišení a čitelnosti nalezených obrázků. Grafy s vysokým rozlišením a čitelnými popisky poskytují lepší výsledky než rozmazané nebo nepřehledné obrázky.
Praktické cvičení
Vytvoř skript, který požádá Groka o analýzu vizuálních trendů v daném odvětví (například grafy výkonnosti burzovního indexu nebo infografiky z odvětvové zprávy). Porovnej bohatost získané odpovědi s povoleným a zakázaným parametrem enable_image_understanding.
Klíčové poznatky
- Parametr
enable_image_understandingumožňuje modelu analyzovat obrázky z výsledků webového vyhledávání - Model interně používá nástroj
view_imagek prozkoumání relevantních vizuálů - Tento parametr lze kombinovat s
allowed_domainsneboexcluded_domains - Analýza obrázků zvyšuje dobu zpracování a spotřebu tokenů
- Tato funkce je ideální pro vizuální monitoring, analýzu grafů a extrakci dat z infografik