Afbeeldingen analyseren die zijn gevonden via webzoekopdrachten
Op deze pagina
Ga verder dan tekst met afbeeldingsanalyse
Webzoekopdrachten beperken zich niet tot tekst. Wanneer u de parameter enable_image_understanding inschakelt, kan het Grok-model afbeeldingen analyseren die tijdens het zoeken zijn gevonden. Dit opent nieuwe mogelijkheden: het interpreteren van grafieken, het lezen van infographics, het begrijpen van screenshots of het analyseren van nieuwsfoto’s.
Deze functionaliteit is bijzonder nuttig voor use cases waarbij visuele informatie tekst aanvult of vervangt, zoals het analyseren van trends op basis van beursgrafieken, het begrijpen van technische diagrammen of het extraheren van gegevens uit tabellen die als afbeelding zijn gepubliceerd.
Afbeeldingsbegrip inschakelen
U schakelt dit in via de parameter enable_image_understanding in de configuratie van de web_search-tool:
response = client.responses.create(
model="grok-4.5",
input="Show me the evolution of Tesla's stock price this week",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Wanneer deze parameter is ingeschakeld, heeft het model toegang tot een extra interne tool met de naam view_image. Het kan deze tool aanroepen om afbeeldingen die het tegenkomt tijdens zijn zoektocht te onderzoeken en relevante informatie te extraheren.
Hoe het werkt
Het proces verloopt in verschillende fasen:
- Het model voert een standaard webzoekopdracht uit
- Tussen de resultaten identificeert het potentieel relevante afbeeldingen
- Het gebruikt de
view_image-tool om deze afbeeldingen te analyseren - Het integreert de visuele informatie in zijn definitieve antwoord
U hoeft geen extra interactie te beheren. Het model orchestreert alles autonoom.
Domeinfiltering en afbeeldingsanalyse combineren
U kunt afbeeldingsanalyse tegelijkertijd met domeinfiltering inschakelen:
response = client.responses.create(
model="grok-4.5",
input="Visual summary of the latest publications on arxiv in computer vision",
tools=[{
"type": "web_search",
"allowed_domains": ["arxiv.org"],
"enable_image_understanding": True
}]
)
| Parameter | Type | Default value | Description |
|---|---|---|---|
| allowed_domains | array | [] | Allowed domains (max 5) |
| excluded_domains | array | [] | Excluded domains (max 5) |
| enable_image_understanding | boolean | false | Enables analysis of found images |
Relevante use cases
Visuele monitoring van merken
Monitor hoe uw merk visueel online verschijnt: gebruikte logo’s, screenshots van uw product, infographics waarin uw bedrijf wordt genoemd.
response = client.responses.create(
model="grok-4.5",
input="How is the Corsen AI brand represented visually online?",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Visuele data-analyse
Interpreteer grafieken en tabellen die in online rapporten zijn gepubliceerd zonder dat u ze handmatig hoeft te downloaden:
response = client.responses.create(
model="grok-4.5",
input="Analyze the European AI market growth charts published recently",
tools=[{
"type": "web_search",
"allowed_domains": ["statista.com", "mckinsey.com"],
"enable_image_understanding": True
}]
)
Beperkingen om rekening mee te houden
Afbeeldingsanalyse verhoogt de responstijd omdat het model naast tekst ook visuele gegevens moet verwerken. Het verbruikt ook meer output-tokens. Schakel het alleen in wanneer visuele informatie echte waarde toevoegt aan het antwoord.
De kwaliteit van de analyse hangt ook af van de resolutie en de duidelijkheid van de gevonden afbeeldingen. Grafieken met een hoge resolutie en leesbare labels leveren betere resultaten op dan wazige of rommelige afbeeldingen.
Praktijkoefening
Maak een script dat Grok vraagt visuele trends in een sector te analyseren (bijvoorbeeld prestatiegrafieken voor een beursindex of infographics uit een brancherapport). Vergelijk de rijkdom van het verkregen antwoord met en zonder enable_image_understanding.
Belangrijkste punten
- De parameter
enable_image_understandingstelt het model in staat afbeeldingen uit webresultaten te analyseren - Het model gebruikt intern de
view_image-tool om relevante visuele elementen te onderzoeken - Deze parameter kan worden gecombineerd met
allowed_domainsofexcluded_domains - Afbeeldingsanalyse verhoogt de verwerkingstijd en het tokenverbruik
- Deze functie is ideaal voor visuele monitoring, grafiekanalyse en het extraheren van gegevens uit infographics