Razumijevanje slika u web pretraživanju
Na ovoj stranici
Analiza slika pronađenih na webu
Web pretraživanje nadilazi tekst. Uz parametar enable_image_understanding, možeš zatražiti od modela da analizira slike na koje naiđe tijekom web pretraživanja. Ova značajka znatno proširuje mogućnosti pretraživanja, posebno za vizualna pitanja ili teme gdje slike pružaju informacije koje nadopunjuju tekst.
Aktivacija
Omogući ovu značajku dodavanjem parametra enable_image_understanding u svoju konfiguraciju web pretraživanja:
{
"tools": [{
"type": "web_search",
"enable_image_understanding": true
}]
}
Kada je omogućeno, model može koristiti interni alat view_image za analizu slika na koje naiđe tijekom pretraživanja. Samostalno odlučuje koje su slike relevantne za pregled.
Sintaksa SDK-a
xAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture and explain each component",
tools=[client.tools.web_search(
enable_image_understanding=True
)]
)
OpenAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Vercel AI SDK
tools: [xai.tools.webSearch({
enableImageUnderstanding: true
})]
Slučajevi upotrebe
Analiza tehničkih dijagrama
Model može pronaći i interpretirati dijagrame arhitekture, dijagrame tijeka ili tehničke grafove. Ovo je posebno korisno za pitanja o softverskim arhitekturama ili industrijskim procesima.
Vizualna usporedba proizvoda
Za upite koji zahtijevaju usporedbu, model može analizirati snimke zaslona ili fotografije proizvoda pronađene na webu te iz njih izvući relevantna zapažanja.
Vizualna analiza podataka
Ako se tvoje pitanje odnosi na podatke prikazane kao grafikoni ili vizualne tablice, razumijevanje slika omogućuje modelu izvlačenje informacija iz tih vizualnih prikaza.
Kombiniranje s drugim parametrima
Razumijevanje slika kombinira se s filtriranjem domena:
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Analyze the latest LLM performance benchmarks",
tools=[{
"type": "web_search",
"allowed_domains": ["arxiv.org", "huggingface.co"],
"enable_image_understanding": True
}]
)
Model će pretraživati samo unutar dopuštenih domena i moći će analizirati grafikone s benchmarkovima pronađene u publikacijama.
Utjecaj na troškove
Omogućivanje razumijevanja slika povećava potrošnju tokena. Analiza svake slike generira dodatne tokene za ulaz (kodirana slika) i izlaz (opis/analiza). Trošak po pozivu ostaje isti (0,005 USD), ali volumen tokena po zahtjevu može se znatno povećati.
Omogući ovu značajku samo kada slike dodaju stvarnu vrijednost tvom slučaju upotrebe. Za pretraživanja koja se temelje isključivo na tekstu, ostavi ovaj parametar onemogućenim kako bi optimizirao troškove.
Razlika u odnosu na X Search
Razumijevanje slika dostupno je i za Web Search i za X Search. Međutim, razumijevanje videozapisa (enable_video_understanding) ekskluzivno je za X Search. Web Search ne može analizirati videozapise pronađene na webu.
Ključne točke
- Omogući s
enable_image_understanding: trueu konfiguraciji Web Searcha - Model interno koristi
view_imageza analizu relevantnih slika - Korisno za dijagrame, grafikone, snimke zaslona i vizualne usporedbe
- Povećava potrošnju tokena – omogući samo kada je relevantno
- Kombinira se s filtriranjem domena za preciznu kontrolu izvora
- Razumijevanje videozapisa ekskluzivno je za X Search