Razumevanje slik v spletnem iskanju
Na tej strani
Analiza slik, najdenih na spletu
Spletno iskanje presega zgolj besedilo. S parametrom enable_image_understanding lahko modelu naročiš, da analizira slike, na katere naleti med iskanjem po spletu. Ta funkcija bistveno razširi zmogljivosti iskanja, zlasti pri vizualnih vprašanjih ali temah, kjer slike nudijo informacije, ki dopolnjujejo besedilo.
Aktivacija
To funkcijo omogočiš tako, da v konfiguracijo spletnega iskanja dodaš parameter enable_image_understanding:
{
"tools": [{
"type": "web_search",
"enable_image_understanding": true
}]
}
Ko je funkcija omogočena, lahko model za analizo slik, na katere naleti med iskanjem, uporabi interno orodje view_image. Samodejno se odloči, katere slike so relevantne za pregled.
Sintaksa SDK
xAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture and explain each component",
tools=[client.tools.web_search(
enable_image_understanding=True
)]
)
OpenAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Vercel AI SDK
tools: [xai.tools.webSearch({
enableImageUnderstanding: true
})]
Primeri uporabe
Analiza tehničnih diagramov
Model lahko najde in interpretira diagrame arhitektur, flowcharte ali tehnične grafe. To je še posebej uporabno pri vprašanjih o programskih arhitekturah ali industrijskih procesih.
Vizualna primerjava izdelkov
Pri poizvedbah za primerjavo lahko model analizira posnetke zaslona ali fotografije izdelkov, najdene na spletu, in na podlagi njih oblikuje ustrezna opažanja.
Vizualna analiza podatkov
Če se tvoje vprašanje nanaša na podatke, predstavljene kot grafi ali vizualne tabele, razumevanje slik modelu omogoča ekstrakcijo informacij iz teh vizualnih predstavitev.
Kombiniranje z drugimi parametri
Razumevanje slik se kombinira s filtriranjem domen:
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Analyze the latest LLM performance benchmarks",
tools=[{
"type": "web_search",
"allowed_domains": ["arxiv.org", "huggingface.co"],
"enable_image_understanding": True
}]
)
Model bo iskal samo znotraj dovoljenih domen in lahko analizira grafikone meril uspešnosti, najdene v publikacijah.
Vpliv na stroške
Omogočanje razumevanja slik poveča porabo žetonov. Analiza vsake slike ustvari dodatne žetone za vhod (kodirana slika) in izhod (opis/analiza). Strošek na klic ostane enak (0,005 $), vendar se lahko količina žetonov na zahtevo znatno poveča.
To funkcijo omogoči le, ko slike tvojem primeru uporabe dodajajo resnično vrednost. Za izključno besedilna iskanja ta parameter pustite onemogočen, da optimizirate stroške.
Razlika glede na iskanje X
Razumevanje slik je na voljo tako za spletno iskanje kot za iskanje X. Vendar pa je razumevanje videoposnetkov (enable_video_understanding) ekskluzivno za iskanje X. Spletno iskanje ne more analizirati videoposnetkov, najdenih na spletu.
Ključne ugotovitve
- Omogoči z
enable_image_understanding: truev konfiguraciji spletnega iskanja - Model interno uporablja
view_imageza analizo relevantnih slik - Uporabno za diagrame, grafe, posnetke zaslona in vizualne primerjave
- Poveča porabo žetonov – omogoči le, kadar je relevantno
- Kombinira se s filtriranjem domen za natančen nadzor virov
- Razumevanje videoposnetkov je ekskluzivno za iskanje X