Analizē attēlus, kas atrasti, veicot meklēšanu tīmeklī
Šajā lapā
Pārsniedz teksta robežas ar attēlu analīzi
Meklēšana tīmeklī neaprobežojas tikai ar tekstu. Aktivizējot parametru enable_image_understanding, Grok modelis spēj analizēt attēlus, kas atrasti meklēšanas procesā. Tas paver jaunas iespējas: interpretēt diagrammas, lasīt infografikas, saprast ekrānuzņēmumus vai analizēt ziņu fotogrāfijas.
Šī spēja ir īpaši noderīga gadījumos, kad vizuālā informācija papildina vai aizstāj tekstu, piemēram, analizējot tendences akciju grafikos, izprotot tehniskās shēmas vai iegūstot datus no tabulām, kas publicētas attēlu veidā.
Aktivizē attēlu izpratni
Tu to aktivizē, izmantojot parametru enable_image_understanding rīka web_search konfigurācijā:
response = client.responses.create(
model="grok-4.5",
input="Show me the evolution of Tesla's stock price this week",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Kad šis parametrs ir aktivizēts, modelim ir pieejams papildu iekšējais rīks ar nosaukumu view_image. Tas var izsaukt šo rīku, lai pārbaudītu meklēšanas laikā sastaptos attēlus un iegūtu no tiem būtisku informāciju.
Kā tas darbojas
Process norisinās vairākos posmos:
- Modelis veic standarta meklēšanu tīmeklī
- Starp rezultātiem tas identificē potenciāli nozīmīgus attēlus
- Tas izmanto rīku
view_image, lai analizētu šos attēlus - Tas integrē vizuālo informāciju savā galīgajā atbildē
Tev nav jānodrošina nekāda papildu mijiedarbība. Modelis visu orchestrē autonomi.
Apvieno domēnu filtrēšanu un attēlu analīzi
Tu vari aktivizēt attēlu analīzi vienlaicīgi ar domēnu filtrēšanu:
response = client.responses.create(
model="grok-4.5",
input="Visual summary of the latest publications on arxiv in computer vision",
tools=[{
"type": "web_search",
"allowed_domains": ["arxiv.org"],
"enable_image_understanding": True
}]
)
| Parametrs | Tips | Noklusējuma vērtība | Apraksts |
|---|---|---|---|
| allowed_domains | array | [] | Atļautie domēni (maks. 5) |
| excluded_domains | array | [] | Izslēgtie domēni (maks. 5) |
| enable_image_understanding | boolean | false | Aktivizē atrasto attēlu analīzi |
Atbilstoši lietojumi
Zīmola vizuālā monitorings
Sekojiet līdzi tam, kā tavs zīmols vizuāli parādās tiešsaistē: izmantotie logotipi, tava produkta ekrānuzņēmumi, infografikas, kas piemin tavu uzņēmumu.
response = client.responses.create(
model="grok-4.5",
input="How is the Corsen AI brand represented visually online?",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Vizuālā datu analīze
Interpretē diagrammas un tabulas, kas publicētas tiešsaistes ziņojumos, bez nepieciešamības tās manuāli lejupielādēt:
response = client.responses.create(
model="grok-4.5",
input="Analyze the European AI market growth charts published recently",
tools=[{
"type": "web_search",
"allowed_domains": ["statista.com", "mckinsey.com"],
"enable_image_understanding": True
}]
)
Ierobežojumi, kas jāzina
Attēlu analīze palielina atbildes laiku, jo modelim papildus tekstam jāapstrādā arī vizuālie dati. Tā arī patērē vairāk izejas tokenus. Aktivizē to tikai tad, ja vizuālā informācija atbildei pievieno reālu vērtību.
Analīzes kvalitāte ir atkarīga arī no atrasto attēlu izšķirtspējas un skaidrības. Augstas izšķirtspējas diagrammas ar lasāmiem marķējumiem dod labākus rezultātus nekā izplūduši vai pārpildīti attēli.
Praktisks uzdevums
Izveido skriptu, kas liek Grok analizēt vizuālās tendences kādā nozarē (piemēram, akciju indeksa veiktspējas grafikus vai nozares ziņojuma infografikas). Salīdzini atbildes bagātīgumu, iegūtu ar un bez enable_image_understanding.
Galvenās atziņas
- Parametrs
enable_image_understandingļauj modelim analizēt attēlus no tīmekļa meklēšanas rezultātiem - Modelis iekšēji izmanto rīku
view_image, lai pārbaudītu atbilstošus vizuālos materiālus - Šo parametru var apvienot ar
allowed_domainsvaiexcluded_domains - Attēlu analīze palielina apstrādes laiku un tokena patēriņu
- Šī funkcija ir ideāli piemērota vizuālajam monitoringam, diagrammu analīzei un datu ieguvei no infografikām