Analizuokite vaizdus, rastus atliekant paiešką internete
Šiame puslapyje
Perženkite tekstą naudodami vaizdų analizę
Paieška internete neapsiriboja vien tekstu. Įgalinę parametrą enable_image_understanding, leidžiate „Grok“ modeliui analizuoti vaizdus, rastus atliekant paiešką. Tai atveria naujų galimybių: interpretuoti diagramas, skaityti infografikus, suprasti ekrano kopijas arba analizuoti naujienų nuotraukas.
Ši funkcija ypač naudinga tais atvejais, kai vizualinė informacija papildo arba pakeičia tekstą, pavyzdžiui, analizuojant akcijų kursų diagramų tendencijas, suprantant technines schemas arba išgaunant duomenis iš lentelių, publikuotų kaip vaizdai.
Įgalinkite vaizdų supratimą
Tai įgalinate naudodami parametrą enable_image_understanding įrankio web_search konfigūracijoje:
response = client.responses.create(
model="grok-4.5",
input="Show me the evolution of Tesla's stock price this week",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Įgalinus šį parametrą, modelis gauna prieigą prie papildomo vidinio įrankio, pavadinto view_image. Jis gali išsikviesti šį įrankį, kad išnagrinėtų paieškos metu rastus vaizdus ir išgautų iš jų svarbią informaciją.
Kaip tai veikia
Procesas vyksta keliais etapais:
- Modelis atlieka standartinę paiešką internete.
- Tarp rezultatų jis nustato potencialiai svarbius vaizdus.
- Vaizdams analizuoti jis naudoja įrankį
view_image. - Gautą vizualinę informaciją jis integruoja į galutinį atsakymą.
Jums nereikia valdyti jokios papildomos sąveikos. Modelis viską organizuoja savarankiškai.
Derinkite domenų filtravimą ir vaizdų analizę
Vaizdų analizę galite įgalinti tuo pačiu metu kaip ir domenų filtravimą:
response = client.responses.create(
model="grok-4.5",
input="Visual summary of the latest publications on arxiv in computer vision",
tools=[{
"type": "web_search",
"allowed_domains": ["arxiv.org"],
"enable_image_understanding": True
}]
)
| Parameter | Type | Default value | Description |
|---|---|---|---|
| allowed_domains | array | [] | Allowed domains (max 5) |
| excluded_domains | array | [] | Excluded domains (max 5) |
| enable_image_understanding | boolean | false | Enables analysis of found images |
Tinkami naudojimo atvejai
Prekės ženklo vizualinė stebėsena
Stebėkite, kaip jūsų prekės ženklas vizualiai atsispindi internete: naudojami logotipai, jūsų produkto ekrano kopijos, infografikai, kuriuose minimą jūsų įmonė.
response = client.responses.create(
model="grok-4.5",
input="How is the Corsen AI brand represented visually online?",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Vizuali duomenų analizė
Interpretuokite internetinėse ataskaitose publikuotas diagramas ir lenteles jų atsisiųsdami rankiniu būdu:
response = client.responses.create(
model="grok-4.5",
input="Analyze the European AI market growth charts published recently",
tools=[{
"type": "web_search",
"allowed_domains": ["statista.com", "mckinsey.com"],
"enable_image_understanding": True
}]
)
Apribojimai, kuriuos reikia žinoti
Vaizdų analizė pailgina atsako gavimo laiką, nes modelis turi apdoroti ne tik tekstą, bet ir vizualinius duomenis. Ji taip sunaudoja daugiau išvesties tokenų. Įgalinkite ją tik tada, kai vizualinė informacija atsakymui suteikia realios vertės.
Analizės kokybė taip pat priklauso nuo rastų vaizdų raiškos ir aiškumo. Aukštos raiškos diagramos su įskaitomomis etiketėmis duoda geresnių rezultatų nei neryškūs arba perkrauti vaizdai.
Praktinė užduotis
Sukurkite scenarijų, kuriame paprašytumėte „Grok“ išanalizuoti vizualines tam tikro sektoriaus tendencijas (pavyzdžiui, akcijų indekso veiklos diagramas arba pramonės ataskaitų infografikus). Palyginkite gauto atsakymo išsamumą įgalinus ir neįgalinus parametro enable_image_understanding.
Svarbiausi punktai
- Parametras
enable_image_understandingleidžia modeliui analizuoti vaizdus iš interneto paieškos rezultatų. - Modelis viduje naudoja įrankį
view_image, kad išnagrinėtų svarbius vaizdus. - Šį parametrą galima derinti su
allowed_domainsarbaexcluded_domains. - Vaizdų analizė pailgina apdorojimo laiką ir padidina tokenų sunaudojimą.
- Ši funkcija idealiai tinka vizualinei stebėsenai, diagramų analizei ir duomenų išgavimui iš infografikų.