Afbeeldingsbegrip bij webzoekopdrachten
Op deze pagina
Afbeeldingen op het web analyseren
Web Search gaat verder dan alleen tekst. Met de parameter enable_image_understanding kunt u het model vragen om afbeeldingen te analyseren die het tegenkomt tijdens zijn zoektocht op het web. Deze functie breidt de zoekmogelijkheden aanzienlijk uit, vooral voor visuele vragen of onderwerpen waarbij afbeeldingen informatie bieden die de tekst aanvult.
Activering
Schakel deze functie in door de parameter enable_image_understanding toe te voegen aan uw Web Search-configuratie:
{
"tools": [{
"type": "web_search",
"enable_image_understanding": true
}]
}
Wanneer dit is ingeschakeld, kan het model de interne tool view_image gebruiken om afbeeldingen te analyseren die tijdens de zoekopdracht worden gevonden. Het model beslist automatisch welke afbeeldingen relevant zijn om te onderzoeken.
SDK-syntax
xAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture and explain each component",
tools=[client.tools.web_search(
enable_image_understanding=True
)]
)
OpenAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Vercel AI SDK
tools: [xai.tools.webSearch({
enableImageUnderstanding: true
})]
Toepassingsgebieden
Analyse van technische diagrammen
Het model kan architectuurdiagrammen, stroomdiagrammen of technische grafieken vinden en interpreteren. Dit is bijzonder nuttig voor vragen over softwarearchitecturen of industriële processen.
Visuele productvergelijking
Bij vergelijkende vragen kan het model screenshots of productfoto’s op het web analyseren en daar relevante observaties uit afleiden.
Visuele data-analyse
Als uw vraag gaat over data die wordt gepresenteerd als grafieken of visuele tabellen, stelt afbeeldingsbegrip het model in staat om informatie uit deze visuele weergaven te halen.
Combineren met andere parameters
Afbeeldingsbegrip kan worden gecombineerd met domeinfiltering:
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Analyze the latest LLM performance benchmarks",
tools=[{
"type": "web_search",
"allowed_domains": ["arxiv.org", "huggingface.co"],
"enable_image_understanding": True
}]
)
Het model zoekt dan alleen binnen de toegestane domeinen en kan benchmarkgrafieken in publicaties analyseren.
Impact op de kosten
Het inschakelen van afbeeldingsbegrip verhoogt het tokenverbruik. Het analyseren van elke afbeelding genereert extra tokens voor de input (de gecodeerde afbeelding) en de output (de beschrijving/analyse). De kosten per aanroep blijven gelijk ($0,005), maar het tokenvolume per verzoek kan aanzienlijk toenemen.
Schakel deze functie alleen in wanneer afbeeldingen echte meerwaarde bieden voor uw use case. Laat deze parameter bij puur tekstgebaseerde zoekopdrachten uitgeschakeld om de kosten te optimaliseren.
Verschil met X Search
Afbeeldingsbegrip is beschikbaar voor zowel Web Search als X Search. Video-begrip (enable_video_understanding) is echter exclusief voor X Search. Web Search kan geen video’s analyseren die op het web worden gevonden.
Belangrijkste punten
- Schakel in met
enable_image_understanding: truein de Web Search-configuratie - Het model gebruikt intern
view_imageom relevante afbeeldingen te analyseren - Nuttig voor diagrammen, grafieken, screenshots en visuele vergelijkingen
- Verhoogt het tokenverbruik – schakel alleen in wanneer relevant
- Combineerbaar met domeinfiltering voor nauwkeurige broncontrole
- Videobegrip is exclusief voor X Search