Pildimõistmine veebiotsingus
Sellel lehel
Analüüsi veebist leitud pilte
Veebiotsing ei piirdu ainult tekstiga. Kasutades parameetrit enable_image_understanding, saad paluda mudelil analüüsida pilte, mida see oma veebiotsingu käigus kohtab. See funktsioon laiendab oluliselt otsinguvõimalusi, eriti visuaalsete küsimuste või teemade puhul, kus pildid pakuvad teksti täiendavat teavet.
Aktiveerimine
Selle funktsiooni lubamiseks lisa parameeter enable_image_understanding oma veebiotsingu konfiguratsiooni:
{
"tools": [{
"type": "web_search",
"enable_image_understanding": true
}]
}
Kui see on lubatud, saab mudel kasutada sisemist tööriista view_image, et analüüsida otsingu käigus leitud pilte. See otsustab automaatselt, milliseid pilte on asjakohane uurida.
SDK süntaks
xAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture and explain each component",
tools=[client.tools.web_search(
enable_image_understanding=True
)]
)
OpenAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Vercel AI SDK
tools: [xai.tools.webSearch({
enableImageUnderstanding: true
})]
Kasutusjuhtumid
Tehniliste skeemide analüüs
Mudel suudab leida ja tõlgendada arhitektuuri skeeme, vooskeeme või tehnilisi graafikuid. See on eriti kasulik tarkvara arhitektuure või tööstusprotsesse puudutavate küsimuste korral.
Visuaalne toodete võrdlus
Võrdlevate päringute puhul saab mudel analüüsida veebist leitud ekraanitõmmiseid või tootefotosid ning teha nende põhjal asjakohaseid järeldusi.
Visuaalne andmeanalüüs
Kui su küsimus puudutab diagrammidena või visuaalsete tabelitena esitatud andmeid, võimaldab pildimõistmine mudelil ekstraheerida teavet nendest visuaalsetest esitustest.
Kombineerimine teiste parameetritega
Pildimõistmine ühildub domeenifiltriga:
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Analyze the latest LLM performance benchmarks",
tools=[{
"type": "web_search",
"allowed_domains": ["arxiv.org", "huggingface.co"],
"enable_image_understanding": True
}]
)
Mudel otsib ainult lubatud domeenidest ja saab analüüsida väljaannetes leiduvaid võrdlusgraafikuid.
Mõju kuludele
Pildimõistmise lubamine suurendab tokenite tarbimist. Iga pildi analüüsimine tekitab sisendile (kodeeritud pilt) ja väljundile (kirjeldus/analüüs) lisatokeneid. Kutse hind jääb samaks (0,005 USD), kuid tokenite maht päringu kohta võib oluliselt kasvada.
Luba see funktsioon ainult siis, kui pildid toovad sinu kasutusjuhtumisse reaalset väärtust. Puhtalt tekstipõhiste otsingute jaoks jäta see parameeter keelatuks, et kulusid optimeerida.
Erinevus X Searchist
Pildimõistmine on saadaval nii veebiotsingu kui ka X Searchi jaoks. Siiski on videomõistmine (enable_video_understanding) eranditult X Searchi funktsioon. Veebiotsing ei suuda veebist leitud videoid analüüsida.
Peamised punktid
- Luba kasutades
enable_image_understanding: trueveebiotsingu konfiguratsioonis - Mudel kasutab asjakohaste piltide analüüsimiseks sisemiselt tööriista
view_image - Kasulik skeemide, diagrammide, ekraanitõmmiste ja visuaalsete võrdluste jaoks
- Suurendab tokenite tarbimist – luba ainult vajadusel
- Ühildub domeenifiltriga allikate täpseks kontrollimiseks
- Videomõistmine on eksklusiivne X Searchile