Képelemzés a webes keresés során talált képeken
Ezen az oldalon
Lépj túl a szövegen képelemzéssel
A webes keresés nem korlátozódik csak a szövegre. Ha engedélyezed az enable_image_understanding paramétert, a Grok modell képes elemezni a keresései során talált képeket. Ez új lehetőségeket nyit meg: diagramok értelmezése, infografikák olvasása, képernyőképek megértése vagy hírfotók elemzése.
Ez a képesség különösen hasznos olyan esetekben, amikor a vizuális információ kiegészíti vagy helyettesíti a szöveget, például tőzsdei diagramokból származó trendek elemzése, műszaki ábrák megértése vagy képként közzétett táblázatokból történő adatkinyerés során.
A képmegértés engedélyezése
Ezt a web_search eszköz konfigurációjában található enable_image_understanding paraméterrel engedélyezheted:
response = client.responses.create(
model="grok-4.5",
input="Show me the evolution of Tesla's stock price this week",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Ha ez a paraméter engedélyezve van, a modell hozzáfér egy további belső eszközhöz, amelynek neve view_image. Ezt az eszközt hívja meg a keresés során encountered képek vizsgálatára és a releváns információk kinyerésére.
Hogyan működik
A folyamat több szakaszban zajlik:
- A modell lefuttat egy szabványos webes keresést
- Az eredmények közül azonosítja a potenciálisan releváns képeket
- A
view_imageeszközt használja ezeknek a képeknek az elemzésére - Beépíti a vizuális információkat a végső válaszába
Neked nem kell kezelned semmilyen további interakciót. A modell mindent autonóm módon orchestrál.
Domain szűrés és képelemzés kombinálása
A képelemzést egyszerre engedélyezheted a domain szűréssel is:
response = client.responses.create(
model="grok-4.5",
input="Visual summary of the latest publications on arxiv in computer vision",
tools=[{
"type": "web_search",
"allowed_domains": ["arxiv.org"],
"enable_image_understanding": True
}]
)
| Paraméter | Típus | Alapértelmezett érték | Leírás |
|---|---|---|---|
| allowed_domains | array | [] | Engedélyezett domainek (max. 5) |
| excluded_domains | array | [] | Kizárt domainek (max. 5) |
| enable_image_understanding | boolean | false | Engedélyezi a talált képek elemzését |
Releváns felhasználási esetek
Márka vizuális monitorozása
Figyeld meg, hogyan jelenik meg márkád vizuálisan az online térben: használt logók, terméked képernyőképei, cégedet említő infografikák.
response = client.responses.create(
model="grok-4.5",
input="How is the Corsen AI brand represented visually online?",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Vizuális adatelemzés
Értelmezd az online jelentésekben közzétett diagramokat és táblázatokat anélkül, hogy manuálisan le kellene töltened őket:
response = client.responses.create(
model="grok-4.5",
input="Analyze the European AI market growth charts published recently",
tools=[{
"type": "web_search",
"allowed_domains": ["statista.com", "mckinsey.com"],
"enable_image_understanding": True
}]
)
Ismerendő korlátok
A képelemzés növeli a válaszidőt, mivel a modellnek a szöveg mellett vizuális adatokat is fel kell dolgoznia. Emellett több kimeneti tokent is fogyaszt. Csak akkor engedélyezd, ha a vizuális információ valódi értéket ad a válaszhoz.
Az elemzés minősége a talált képek felbontásától és tisztaságától is függ. A nagy felbontású, jól olvasható címkékkel rendelkező diagramok jobb eredményt hoznak, mint a homályos vagy zsúfolt képek.
Gyakorlati feladat
Készíts egy szkriptet, amely megkéri a Grokot, hogy elemezzen vizuális trendeket egy adott szektorban (például egy tőzsdei index teljesítménydiagramjait vagy egy iparági jelentés infografikáit). Hasonlítsd össze a kapott válasz gazdagságát az enable_image_understanding paraméterrel és anélkül.
Főbb megállapítások
- Az
enable_image_understandingparaméter lehetővé teszi a modell számára a webes találatokból származó képek elemzését - A modell belsőleg a
view_imageeszközt használja a releváns vizuális elemek vizsgálatára - Ez a paraméter kombinálható az
allowed_domainsvagyexcluded_domainsparaméterekkel - A képelemzés növeli a feldolgozási időt és a tokenfogyasztást
- Ez a funkció ideális vizuális monitorozáshoz, diagramok elemzéséhez és infografikákból történő adatkinyeréshez