Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Pildimõistmine veebiotsingus

Õppetund 7 / 16 Värskendatud 30. juuli 2026 Arendajatele
Sellel lehel
  1. Analüüsi veebist leitud pilte
  2. Aktiveerimine
  3. SDK süntaks
  4. Kasutusjuhtumid
  5. Kombineerimine teiste parameetritega
  6. Mõju kuludele
  7. Erinevus X Searchist
  8. Peamised punktid

Analüüsi veebist leitud pilte

Veebiotsing ei piirdu ainult tekstiga. Kasutades parameetrit enable_image_understanding, saad paluda mudelil analüüsida pilte, mida see oma veebiotsingu käigus kohtab. See funktsioon laiendab oluliselt otsinguvõimalusi, eriti visuaalsete küsimuste või teemade puhul, kus pildid pakuvad teksti täiendavat teavet.

Aktiveerimine

Selle funktsiooni lubamiseks lisa parameeter enable_image_understanding oma veebiotsingu konfiguratsiooni:

{
  "tools": [{
    "type": "web_search",
    "enable_image_understanding": true
  }]
}

Kui see on lubatud, saab mudel kasutada sisemist tööriista view_image, et analüüsida otsingu käigus leitud pilte. See otsustab automaatselt, milliseid pilte on asjakohane uurida.

SDK süntaks

xAI SDK

response = client.responses.create(
    model="grok-4.20-0309-reasoning",
    input="Show me the Transformer architecture and explain each component",
    tools=[client.tools.web_search(
        enable_image_understanding=True
    )]
)

OpenAI SDK

response = client.responses.create(
    model="grok-4.20-0309-reasoning",
    input="Show me the Transformer architecture",
    tools=[{
        "type": "web_search",
        "enable_image_understanding": True
    }]
)

Vercel AI SDK

tools: [xai.tools.webSearch({
  enableImageUnderstanding: true
})]

Kasutusjuhtumid

Tehniliste skeemide analüüs

Mudel suudab leida ja tõlgendada arhitektuuri skeeme, vooskeeme või tehnilisi graafikuid. See on eriti kasulik tarkvara arhitektuure või tööstusprotsesse puudutavate küsimuste korral.

Visuaalne toodete võrdlus

Võrdlevate päringute puhul saab mudel analüüsida veebist leitud ekraanitõmmiseid või tootefotosid ning teha nende põhjal asjakohaseid järeldusi.

Visuaalne andmeanalüüs

Kui su küsimus puudutab diagrammidena või visuaalsete tabelitena esitatud andmeid, võimaldab pildimõistmine mudelil ekstraheerida teavet nendest visuaalsetest esitustest.

Kombineerimine teiste parameetritega

Pildimõistmine ühildub domeenifiltriga:

response = client.responses.create(
    model="grok-4.20-0309-reasoning",
    input="Analyze the latest LLM performance benchmarks",
    tools=[{
        "type": "web_search",
        "allowed_domains": ["arxiv.org", "huggingface.co"],
        "enable_image_understanding": True
    }]
)

Mudel otsib ainult lubatud domeenidest ja saab analüüsida väljaannetes leiduvaid võrdlusgraafikuid.

Mõju kuludele

Pildimõistmise lubamine suurendab tokenite tarbimist. Iga pildi analüüsimine tekitab sisendile (kodeeritud pilt) ja väljundile (kirjeldus/analüüs) lisatokeneid. Kutse hind jääb samaks (0,005 USD), kuid tokenite maht päringu kohta võib oluliselt kasvada.

Luba see funktsioon ainult siis, kui pildid toovad sinu kasutusjuhtumisse reaalset väärtust. Puhtalt tekstipõhiste otsingute jaoks jäta see parameeter keelatuks, et kulusid optimeerida.

Erinevus X Searchist

Pildimõistmine on saadaval nii veebiotsingu kui ka X Searchi jaoks. Siiski on videomõistmine (enable_video_understanding) eranditult X Searchi funktsioon. Veebiotsing ei suuda veebist leitud videoid analüüsida.

Peamised punktid

  • Luba kasutades enable_image_understanding: true veebiotsingu konfiguratsioonis
  • Mudel kasutab asjakohaste piltide analüüsimiseks sisemiselt tööriista view_image
  • Kasulik skeemide, diagrammide, ekraanitõmmiste ja visuaalsete võrdluste jaoks
  • Suurendab tokenite tarbimist – luba ainult vajadusel
  • Ühildub domeenifiltriga allikate täpseks kontrollimiseks
  • Videomõistmine on eksklusiivne X Searchile