Bildförståelse i webbsökning
På denna sida
Analysera bilder som hittas på webben
Webbsökning går bortom text. Med parametern enable_image_understanding kan du be modellen analysera bilder den stöter på under sin webbsökning. Denna funktion utvidgar sökmöjligheterna avsevärt, särskilt för visuella frågor eller ämnen där bilder tillför information som kompletterar texten.
Aktivering
Aktivera denna funktion genom att lägga till parametern enable_image_understanding i din konfiguration för webbsökning:
{
"tools": [{
"type": "web_search",
"enable_image_understanding": true
}]
}
När funktionen är aktiverad kan modellen använda det interna verktyget view_image för att analysera bilder som dyker upp under sökningen. Den avgör automatiskt vilka bilder som är relevanta att granska.
SDK-syntax
xAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture and explain each component",
tools=[client.tools.web_search(
enable_image_understanding=True
)]
)
OpenAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Vercel AI SDK
tools: [xai.tools.webSearch({
enableImageUnderstanding: true
})]
Användningsområden
Analys av tekniska diagram
Modellen kan hitta och tolka arkitekturdiagram, flödesscheman eller tekniska grafer. Detta är särskilt användbart för frågor om mjukvaruarkitekturer eller industriella processer.
Visuell produktjämförelse
För jämförande förfrågningar kan modellen analysera skärmdumpar eller produktfoton som hittas på webben och dra relevanta slutsatser från dem.
Visuell dataanalys
Om din fråga rör data som presenteras i diagram eller visuella tabeller gör bildförståelsen det möjligt för modellen att extrahera information från dessa visuella representationer.
Kombinera med andra parametrar
Bildförståelse kan kombineras med domänfiltrering:
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Analyze the latest LLM performance benchmarks",
tools=[{
"type": "web_search",
"allowed_domains": ["arxiv.org", "huggingface.co"],
"enable_image_understanding": True
}]
)
Modellen söker endast inom de tillåtna domänerna och kan analysera benchmark-diagram som finns i publikationerna.
Kostnadspåverkan
Att aktivera bildförståelse ökar tokenförbrukningen. Analys av varje bild genererar ytterligare tokens för inmatning (den kodade bilden) och utmatning (beskrivningen/analysen). Kostnaden per anrop förblir densamma ($0.005), men tokenvolymen per förfrågan kan öka avsevärt.
Aktivera denna funktion endast när bilder tillför verkligt värde till ditt användningsfall. För rent textbaserade sökningar bör du lämna denna parameter inaktiverad för att optimera kostnaderna.
Skillnad från X Search
Bildförståelse är tillgänglig för både Web Search och X Search. Däremot är videoförståelse (enable_video_understanding) exklusivt för X Search. Web Search kan inte analysera videor som hittas på webben.
Viktiga punkter
- Aktivera med
enable_image_understanding: truei konfigurationen för Web Search - Modellen använder
view_imageinternt för att analysera relevanta bilder - Användbart för diagram, grafer, skärmdumpar och visuella jämförelser
- Ökar tokenförbrukningen – aktivera endast vid behov
- Kan kombineras med domänfiltrering för exakt kontroll över källor
- Videoförståelse är exklusivt för X Search