Billedforståelse i websøgning
På denne side
Analyser billeder fundet på nettet
Websøgning går ud over ren tekst. Med parameteren enable_image_understanding kan du bede modellen om at analysere billeder, den støder på under sin søgning på nettet. Denne funktion udvider søgemulighederne betydeligt, især til visuelle spørgsmål eller emner, hvor billeder leverer information, der supplerer teksten.
Aktivering
Aktivér denne funktion ved at tilføje parameteren enable_image_understanding til din konfiguration af websøgning:
{
"tools": [{
"type": "web_search",
"enable_image_understanding": true
}]
}
Når funktionen er aktiveret, kan modellen bruge det interne værktøj view_image til at analysere billeder, den finder under søgningen. Den beslutter automatisk, hvilke billeder der er relevante at undersøge.
SDK-syntaks
xAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture and explain each component",
tools=[client.tools.web_search(
enable_image_understanding=True
)]
)
OpenAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Vercel AI SDK
tools: [xai.tools.webSearch({
enableImageUnderstanding: true
})]
Anvendelsestilfælde
Analyse af tekniske diagrammer
Modellen kan finde og fortolke arkitekturdiagrammer, flowcharts eller tekniske grafer. Dette er særligt nyttigt til spørgsmål om softwarearkitekturer eller industrielle processer.
Visuel produktsammenligning
Ved sammenlignende forespørgsler kan modellen analysere skærmbilleder eller produktfotos fundet på nettet og udlede relevante observationer fra dem.
Visuel dataanalyse
Hvis dit spørgsmål omhandler data præsenteret som diagrammer eller visuelle tabeller, gør billedforståelse det muligt for modellen at udtrække information fra disse visuelle repræsentationer.
Kombination med andre parametre
Billedforståelse kan kombineres med domænefiltrering:
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Analyze the latest LLM performance benchmarks",
tools=[{
"type": "web_search",
"allowed_domains": ["arxiv.org", "huggingface.co"],
"enable_image_understanding": True
}]
)
Modellen vil kun søge inden for de tilladte domæner og kan analysere benchmark-diagrammer fundet i publikationer.
Omkostningspåvirkning
Aktivering af billedforståelse øger token-forbruget. Analyse af hvert billede genererer ekstra tokens til input (det kodede billede) og output (beskrivelsen/analysen). Omkostningen pr. kald forbliver den samme ($0.005), men token-volumenet pr. anmodning kan stige betydeligt.
Aktivér kun denne funktion, når billeder tilfører reel værdi til dit anvendelsestilfælde. Til rent tekstbaserede søgninger bør du lade denne parameter være deaktiveret for at optimere omkostningerne.
Forskel fra X Search
Billedforståelse er tilgængelig for både Web Search og X Search. Video-forståelse (enable_video_understanding) er dog eksklusivt for X Search. Web Search kan ikke analysere videoer fundet på nettet.
Vigtige pointer
- Aktivér med
enable_image_understanding: truei konfigurationen af Web Search - Modellen bruger
view_imageinternt til at analysere relevante billeder - Nyttigt til diagrammer, grafer, skærmbilleder og visuelle sammenligninger
- Øger token-forbruget – aktivér kun ved behov
- Kan kombineres med domænefiltrering for præcis kildestyring
- Videoforståelse er eksklusivt for X Search