Înțelegerea imaginilor în căutarea pe web
Pe această pagină
Analiza imaginilor găsite pe web
Căutarea pe web depășește simplul text. Cu ajutorul parametrului enable_image_understanding, puteți solicita modelului să analizeze imaginile pe care le întâlnește în timpul căutării sale pe web. Această funcționalitate extinde semnificativ capacitățile de căutare, în special pentru întrebările vizuale sau pentru subiectele în care imaginile oferă informații care completează textul.
Activare
Activați această funcționalitate adăugând parametrul enable_image_understanding în configurația de Căutare pe web:
{
"tools": [{
"type": "web_search",
"enable_image_understanding": true
}]
}
Odată activată, modelul poate utiliza instrumentul intern view_image pentru a analiza imaginile întâlnite în timpul căutării. Acesta decide automat care imagini sunt relevante pentru examinare.
Sintaxa SDK
xAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture and explain each component",
tools=[client.tools.web_search(
enable_image_understanding=True
)]
)
OpenAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Vercel AI SDK
tools: [xai.tools.webSearch({
enableImageUnderstanding: true
})]
Cazuri de utilizare
Analiza diagramelor tehnice
Modelul poate găsi și interpreta diagrame de arhitectură, organigrame sau grafice tehnice. Acest lucru este deosebit de util pentru întrebările legate de arhitecturile software sau de procesele industriale.
Compararea vizuală a produselor
Pentru interogările comparative, modelul poate analiza capturi de ecran sau fotografii de produse găsite pe web și poate desprinde observații relevante din acestea.
Analiza vizuală a datelor
Dacă întrebarea dumneavoastră vizează date prezentate sub formă de grafice sau tabele vizuale, înțelegerea imaginilor permite modelului să extragă informații din aceste reprezentări vizuale.
Combinarea cu alți parametri
Înțelegerea imaginilor se combină cu filtrarea pe domenii:
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Analyze the latest LLM performance benchmarks",
tools=[{
"type": "web_search",
"allowed_domains": ["arxiv.org", "huggingface.co"],
"enable_image_understanding": True
}]
)
Modelul va căuta doar în domeniile permise și poate analiza graficele de referință (benchmarks) găsite în publicații.
Impactul asupra costurilor
Activarea înțelegerii imaginilor crește consumul de tokeni. Analiza fiecărei imagini generează tokeni suplimentari atât pentru intrare (imaginea codificată), cât și pentru ieșire (descrierea/analiza). Costul per invocare rămâne același (0,005 USD), dar volumul de tokeni per solicitare poate crește semnificativ.
Activați această funcționalitate doar atunci când imaginile aduc o valoare reală cazului dumneavoastră de utilizare. Pentru căutările bazate exclusiv pe text, lăsați acest parametru dezactivat pentru a optimiza costurile.
Diferența față de Căutarea X
Înțelegerea imaginilor este disponibilă atât pentru Căutarea pe web, cât și pentru Căutarea X. Totuși, înțelegerea video (enable_video_understanding) este exclusivă Căutării X. Căutarea pe web nu poate analiza videoclipurile găsite pe internet.
Puncte cheie
- Activați cu
enable_image_understanding: trueîn configurația de Căutare pe web - Modelul utilizează intern
view_imagepentru a analiza imaginile relevante - Util pentru diagrame, grafice, capturi de ecran și comparații vizuale
- Crește consumul de tokeni – activați doar când este relevant
- Se combină cu filtrarea pe domenii pentru un control precis al surselor
- Înțelegerea video este exclusivă Căutării X