Analüüsi veebiotsinguga leitud pilte
Sellel lehel
Mine tekstist kaugemale pildianalüüsiga
Veebiotsing ei piirdu ainult tekstiga. Kui lubad parameetri enable_image_understanding, suudab Grok’i mudel analüüsida oma otsingute käigus leitud pilte. See avab uusi võimalusi: diagrammide tõlgendamist, infograafikute lugemist, ekraanitõmmiste mõistmist või uudisefotode analüüsimist.
See võimekus on eriti kasulik juhtudel, kus visuaalne teave täiendab või asendab teksti, näiteks aktsiagraafikutelt trendide analüüsimisel, tehniliste skeemide mõistmisel või piltidena avaldatud tabelitest andmete ekstraheerimisel.
Luba pildimõistmine
Seda saad lubada parameetri enable_image_understanding kaudu tööriista web_search konfiguratsioonis:
response = client.responses.create(
model="grok-4.5",
input="Show me the evolution of Tesla's stock price this week",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Kui see parameeter on lubatud, saab mudel juurde täiendava sisemise tööriista nimega view_image. Mudel saab seda tööriista kasutada otsingu käigus kohatud piltide uurimiseks ja asjakohase teabe ekstraheerimiseks.
Kuidas see toimib
Protsess toimub mitmes etapis:
- Mudel teostab tavalise veebiotsingu
- Tulemuste hulgast tuvastab ta potentsiaalselt asjakohased pildid
- Kasutab piltide analüüsimiseks tööriista
view_image - Integreerib visuaalse teabe oma lõplikku vastusesse
Sa ei pea ise mingit täiendavat suhtlust haldama. Mudel orkestreerib kõike autonoomselt.
Kombineeri domeenifiltreerimist ja pildianalüüsi
Saad lubada pildianalüüsi samaaegselt domeenifiltreerimisega:
response = client.responses.create(
model="grok-4.5",
input="Visual summary of the latest publications on arxiv in computer vision",
tools=[{
"type": "web_search",
"allowed_domains": ["arxiv.org"],
"enable_image_understanding": True
}]
)
| Parameter | Type | Default value | Description |
|---|---|---|---|
| allowed_domains | array | [] | Allowed domains (max 5) |
| excluded_domains | array | [] | Excluded domains (max 5) |
| enable_image_understanding | boolean | false | Enables analysis of found images |
Asjakohased kasutusjuhud
Brändi visuaalne jälgimine
Jälgi, kuidas sinu bränd veebis visuaalselt esindatud on: kasutatud logod, sinu toote ekraanitõmmised, sinu ettevõtet mainivad infograafikud.
response = client.responses.create(
model="grok-4.5",
input="How is the Corsen AI brand represented visually online?",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Visuaalne andmeanalüüs
Tõlgenda veebiaruannetes avaldatud diagramme ja tabeleid, ilma et peaksid neid käsitsi alla laadima:
response = client.responses.create(
model="grok-4.5",
input="Analyze the European AI market growth charts published recently",
tools=[{
"type": "web_search",
"allowed_domains": ["statista.com", "mckinsey.com"],
"enable_image_understanding": True
}]
)
Piirangud, mida tasub teada
Pildianalüüs suurendab vastamise aega, kuna mudel peab töötlema lisaks tekstile ka visuaalseid andmeid. See tarbib ka rohkem väljundtokeneid. Luba see ainult siis, kui visuaalne teave toob vastusele tegelikku lisaväärtust.
Analüüsi kvaliteet sõltub ka leitud piltide eraldusvõimest ja selgusest. Kõrge eraldusvõimega diagrammid loetavate siltidega annavad paremaid tulemusi kui udused või ülerahvastatud pildid.
Praktiline harjutus
Loo skript, mis palub Grok’il analüüsida visuaalseid trende mõnes sektoris (näiteks aktsiaindeksi tulemusgraafikud või tööstusaruande infograafikud). Võrdle saadud vastuse rikkalikkust olukorras, kus enable_image_understanding on lubatud, ja olukorras, kus see on keelatud.
Peamised punktid
- Parameeter
enable_image_understandingvõimaldab mudelil analüüsida veebitulemustest leitud pilte - Mudel kasutab asjakohaste visuaalide uurimiseks sisemiselt tööriista
view_image - Seda parameetrit saab kombineerida parameetritega
allowed_domainsvõiexcluded_domains - Pildianalüüs suurendab töötlemisaega ja tokenite tarbimist
- See funktsioon on ideaalne visuaalseks jälgimiseks, diagrammide analüüsiks ja infograafikutest andmete ekstraheerimiseks