Analizați imaginile găsite prin căutare web
Pe această pagină
Dincolo de text: analiza imaginilor
Căutarea web nu se limitează la text. Când activați parametrul enable_image_understanding, modelul Grok poate analiza imaginile descoperite în timpul căutărilor sale. Acest lucru deschide noi posibilități: interpretarea graficelor, citirea infograficelor, înțelegerea capturilor de ecran sau analiza fotografiilor din știri.
Această capacitate este deosebit de utilă pentru cazurile de utilizare în care informația vizuală completează sau înlocuiește textul, cum ar fi analiza tendințelor din graficele bursiere, înțelegerea diagramelor tehnice sau extragerea datelor din tabele publicate sub formă de imagini.
Activarea înțelegerii imaginilor
Activați această funcție prin parametrul enable_image_understanding în configurația instrumentului web_search:
response = client.responses.create(
model="grok-4.5",
input="Show me the evolution of Tesla's stock price this week",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Când acest parametru este activat, modelul are acces la un instrument intern suplimentar numit view_image. Acesta poate invoca instrumentul pentru a examina imaginile întâlnite în timpul căutării și pentru a extrage informațiile relevante.
Cum funcționează
Procesul se desfășoară în mai multe etape:
- Modelul execută o căutare web standard
- Printre rezultate, identifică imaginile potențial relevante
- Utilizează instrumentul
view_imagepentru a analiza aceste imagini - Integrează informația vizuală în răspunsul final
Nu trebuie să gestionați nicio interacțiune suplimentară. Modelul orchestrează totul în mod autonom.
Combinarea filtrării pe domenii cu analiza imaginilor
Puteți activa analiza imaginilor simultan cu filtrarea pe domenii:
response = client.responses.create(
model="grok-4.5",
input="Visual summary of the latest publications on arxiv in computer vision",
tools=[{
"type": "web_search",
"allowed_domains": ["arxiv.org"],
"enable_image_understanding": True
}]
)
| Parameter | Type | Default value | Description |
|---|---|---|---|
| allowed_domains | array | [] | Allowed domains (max 5) |
| excluded_domains | array | [] | Excluded domains (max 5) |
| enable_image_understanding | boolean | false | Enables analysis of found images |
Cazuri de utilizare relevante
Monitorizarea vizuală a brandului
Monitorizați modul în care brandul dumneavoastră apare vizual online: logo-uri utilizate, capturi de ecran ale produsului dumneavoastră, infografice care menționează compania dumneavoastră.
response = client.responses.create(
model="grok-4.5",
input="How is the Corsen AI brand represented visually online?",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Analiza vizuală a datelor
Interpretați graficele și tabelele publicate în rapoarte online fără a fi nevoie să le descărcați manual:
response = client.responses.create(
model="grok-4.5",
input="Analyze the European AI market growth charts published recently",
tools=[{
"type": "web_search",
"allowed_domains": ["statista.com", "mckinsey.com"],
"enable_image_understanding": True
}]
)
Limitări de cunoscut
Analiza imaginilor mărește timpul de răspuns, deoarece modelul trebuie să proceseze date vizuale în plus față de text. De asemenea, consumă mai mulți tokeni de ieșire. Activați-o doar atunci când informația vizuală adaugă o valoare reală răspunsului.
Calitatea analizei depinde, de asemenea, de rezoluția și claritatea imaginilor găsite. Graficele de înaltă rezoluție, cu etichete lizibile, oferă rezultate mai bune decât imaginile neclare sau aglomerate.
Exercițiu practic
Creați un script care cere modelului Grok să analizeze tendințele vizuale într-un sector (de exemplu, grafice de performanță pentru un indice bursier sau infografice dintr-un raport industrial). Comparați bogăția răspunsului obținut cu și fără enable_image_understanding.
Puncte cheie
- Parametrul
enable_image_understandingpermite modelului să analizeze imagini din rezultatele web - Modelul utilizează intern instrumentul
view_imagepentru a examina elementele vizuale relevante - Acest parametru poate fi combinat cu
allowed_domainssauexcluded_domains - Analiza imaginilor mărește timpul de procesare și consumul de tokeni
- Această funcție este ideală pentru monitorizarea vizuală, analiza graficelor și extragerea datelor din infografice