Kuvien ymmärtäminen verkkohaussa
Tällä sivulla
Analysoi verkosta löydettyjä kuvia
Verkkohaku ulottuu pelkän tekstin ulkopuolelle. enable_image_understanding-parametrin avulla voit pyytää mallia analysoimaan kuvia, joita se kohtaa verkkohaun aikana. Tämä ominaisuus laajentaa hakukykyjä merkittävästi, erityisesti visuaalisissa kysymyksissä tai aiheissa, joissa kuvat tarjoavat tekstiä täydentävää tietoa.
Aktivointi
Ota ominaisuus käyttöön lisäämällä enable_image_understanding-parametri verkkohakusi määrityksiin:
{
"tools": [{
"type": "web_search",
"enable_image_understanding": true
}]
}
Kun ominaisuus on käytössä, malli voi käyttää sisäistä view_image-työkalua haun aikana kohtaamiensa kuvien analysointiin. Se päättää automaattisesti, mitkä kuvat ovat tarkastelun arvoisia.
SDK-syntaksi
xAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture and explain each component",
tools=[client.tools.web_search(
enable_image_understanding=True
)]
)
OpenAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Vercel AI SDK
tools: [xai.tools.webSearch({
enableImageUnderstanding: true
})]
Käyttötapaukset
Teknisten kaavioiden analyysi
Malli pystyy löytämään ja tulkitsemaan arkkitehtuurikaavioita, vuokaavioita tai teknisiä graafeja. Tämä on erityisen hyödyllistä kysyttäessä ohjelmistoarkkitehtuureista tai teollisista prosesseista.
Visuaalinen tuotevertailu
Vertailevissa hauissa malli voi analysoida verkosta löytyviä kuvakaappauksia tai tuotekuvia ja tehdä niistä asiaankuuluvia havaintoja.
Visuaalinen data-analyysi
Jos kysymyksesi koskee kaavioina tai visuaalisina taulukoina esitettyä dataa, kuvien ymmärtäminen mahdollistaa tiedon poimimisen näistä visuaalisista esityksistä.
Yhdistäminen muihin parametreihin
Kuvien ymmärtäminen yhdistyy toimialasuodatukseen:
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Analyze the latest LLM performance benchmarks",
tools=[{
"type": "web_search",
"allowed_domains": ["arxiv.org", "huggingface.co"],
"enable_image_understanding": True
}]
)
Malli hakee vain sallituilta verkkotunnuksilta ja voi analysoida julkaisuista löytyviä vertailukaavioita.
Vaikutus kustannuksiin
Kuvien ymmärtämisen käyttöönotto lisää tokenien kulutusta. Jokaisen kuvan analysointi tuottaa lisätokeneja sekä syötteelle (koodattu kuva) että tulosteelle (kuvaus/analyysi). Kutsukohtainen hinta pysyy samana (0,005 $), mutta tokenien määrä pyyntöä kohti voi kasvaa merkittävästi.
Ota tämä ominaisuus käyttöön vain, jos kuvat tuovat todellista lisäarvoa käyttötapaukseesi. Puhtaasti tekstipohjaisissa hauissa jätä tämä parametri pois käytöstä kustannusten optimoimiseksi.
Ero X-hakuun
Kuvien ymmärtäminen on saatavilla sekä verkkohaussa että X-haussa. Videoiden ymmärtäminen (enable_video_understanding) on kuitenkin yksinomaan X-haun ominaisuus. Verkkohaku ei pysty analysoimaan verkosta löytyviä videoita.
Keskeiset asiat
- Ota käyttöön asettamalla
enable_image_understanding: trueverkkohakumäärityksissä - Malli käyttää sisäisesti
view_image-työkalua relevanttien kuvien analysointiin - Hyödyllinen kaavioiden, graafien, kuvakaappausten ja visuaalisten vertailujen käsittelyssä
- Lisää tokenien kulutusta – ota käyttöön vain tarvittaessa
- Yhdistyy toimialasuodatukseen lähteiden tarkkaa hallintaa varten
- Videoiden ymmärtäminen on yksinomaan X-haun ominaisuus