Analýza obrázkov nájdených pri webovom vyhľadávaní
Na tejto strane
Viac než len text: analýza obrázkov
Webové vyhľadávanie sa neobmedzuje iba na text. Keď povolíš parameter enable_image_understanding, model Grok dokáže analyzovať obrázky nájdené počas svojho vyhľadávania. Otvára to nové možnosti: interpretáciu grafov, čítanie infografík, pochopenie snímok obrazovky alebo analýzu novinových fotografií.
Táto schopnosť je obzvlášť užitočná v prípadoch, keď vizuálne informácie dopĺňajú alebo nahrádzajú text, napríklad pri analýze trendov z burzových grafov, pochopení technických diagramov alebo extrakcii údajov z tabuliek publikovaných ako obrázky.
Povolenie pochopenia obrázkov
Túto funkciu povolíš pomocou parametra enable_image_understanding v konfigurácii nástroja web_search:
response = client.responses.create(
model="grok-4.5",
input="Show me the evolution of Tesla's stock price this week",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Keď je tento parameter povolený, model má prístup k dodatočnému internému nástroju s názvom view_image. Môže tento nástroj využiť na preskúmanie obrázkov, na ktoré narazí počas vyhľadávania, a extrahovať z nich relevantné informácie.
Ako to funguje
Proces prebieha v niekoľkých fázach:
- Model vykoná štandardné webové vyhľadávanie.
- Medzi výsledkami identifikuje potenciálne relevantné obrázky.
- Pomocou nástroja
view_imagetieto obrázky analyzuje. - Vizuálne informácie integruje do svojej konečnej odpovede.
Nemusíš riešiť žiadnu dodatočnú interakciu. Model všetko orchestruje autonómne.
Kombinácia filtrovania domén a analýzy obrázkov
Analýzu obrázkov môžeš povoliť súčasne s filtrovaním domén:
response = client.responses.create(
model="grok-4.5",
input="Visual summary of the latest publications on arxiv in computer vision",
tools=[{
"type": "web_search",
"allowed_domains": ["arxiv.org"],
"enable_image_understanding": True
}]
)
| Parameter | Typ | Predvolená hodnota | Popis |
|---|---|---|---|
| allowed_domains | pole | [] | Povolené domény (max. 5) |
| excluded_domains | pole | [] | Vylúčené domény (max. 5) |
| enable_image_understanding | boolean | false | Povolí analýzu nájdených obrázkov |
Relevantné prípady použitia
Vizuálny monitoring značky
Sleduj, ako sa tvoja značka vizuálne objavuje online: používané logá, snímky obrazovky tvojho produktu alebo infografiky spomínajúce tvoju spoločnosť.
response = client.responses.create(
model="grok-4.5",
input="How is the Corsen AI brand represented visually online?",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Vizuálna analýza dát
Interpretuj grafy a tabuľky publikované v online správach bez potreby ich manuálneho sťahovania:
response = client.responses.create(
model="grok-4.5",
input="Analyze the European AI market growth charts published recently",
tools=[{
"type": "web_search",
"allowed_domains": ["statista.com", "mckinsey.com"],
"enable_image_understanding": True
}]
)
Obmedzenia, ktoré treba poznať
Analýza obrázkov zvyšuje čas odozvy, pretože model musí spracovávať vizuálne dáta navyše k textu. Tiež spotrebúva viac výstupných tokenov. Povoľ ju len vtedy, keď vizuálne informácie pridávajú odpovedi skutočnú hodnotu.
Kvalita analýzy závisí aj od rozlíšenia a zrozumiteľnosti nájdených obrázkov. Grafy s vysokým rozlíšením a čitateľnými popiskami prinášajú lepšie výsledky než rozmazané alebo neprehľadné obrázky.
Praktické cvičenie
Vytvor skript, ktorý požiada Grok o analýzu vizuálnych trendov v určitom sektore (napríklad grafy výkonnosti pre burzový index alebo infografiky z odvetvovej správy). Porovnaj bohatosť získanej odpovede s povoleným a zakázaným parametrom enable_image_understanding.
Kľúčové poznatky
- Parameter
enable_image_understandingumožňuje modelu analyzovať obrázky z výsledkov webového vyhľadávania. - Model interne využíva nástroj
view_imagena preskúmanie relevantných vizuálov. - Tento parameter možno kombinovať s parametrami
allowed_domainsaleboexcluded_domains. - Analýza obrázkov zvyšuje čas spracovania a spotrebu tokenov.
- Táto funkcia je ideálna na vizuálny monitoring, analýzu grafov a extrakciu dát z infografík.