Comprensione delle immagini nella ricerca web
In questa pagina
Analizzare le immagini trovate sul web
La ricerca web va oltre il semplice testo. Grazie al parametro enable_image_understanding, puoi chiedere al modello di analizzare le immagini che incontra durante la sua ricerca sul web. Questa funzionalità estende significativamente le capacità di ricerca, specialmente per domande visive o argomenti in cui le immagini forniscono informazioni che completano il testo.
Attivazione
Abilita questa funzione aggiungendo il parametro enable_image_understanding alla tua configurazione di ricerca web:
{
"tools": [{
"type": "web_search",
"enable_image_understanding": true
}]
}
Una volta abilitata, il modello può utilizzare lo strumento interno view_image per analizzare le immagini incontrate durante la ricerca. Decide automaticamente quali immagini siano rilevanti esaminare.
Sintassi SDK
xAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture and explain each component",
tools=[client.tools.web_search(
enable_image_understanding=True
)]
)
OpenAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Vercel AI SDK
tools: [xai.tools.webSearch({
enableImageUnderstanding: true
})]
Casi d’uso
Analisi di diagrammi tecnici
Il modello può trovare e interpretare diagrammi di architettura, flowchart o grafici tecnici. Questo è particolarmente utile per domande riguardanti architetture software o processi industriali.
Confronto visivo di prodotti
Per query comparative, il modello può analizzare screenshot o foto di prodotti trovati sul web e trarne osservazioni pertinenti.
Analisi visiva dei dati
Se la tua domanda riguarda dati presentati sotto forma di grafici o tabelle visive, la comprensione delle immagini permette al modello di estrarre informazioni da queste rappresentazioni visive.
Combinazione con altri parametri
La comprensione delle immagini si combina con il filtraggio per dominio:
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Analyze the latest LLM performance benchmarks",
tools=[{
"type": "web_search",
"allowed_domains": ["arxiv.org", "huggingface.co"],
"enable_image_understanding": True
}]
)
Il modello cercherà esclusivamente all’interno dei domini consentiti e potrà analizzare i grafici di benchmark presenti nelle pubblicazioni.
Impatto sui costi
L’attivazione della comprensione delle immagini aumenta il consumo di token. L’analisi di ogni immagine genera token aggiuntivi sia in input (l’immagine codificata) che in output (la descrizione/analisi). Il costo per invocazione rimane invariato ($0.005), ma il volume di token per richiesta può aumentare significativamente.
Abilita questa funzione solo quando le immagini apportano un reale valore al tuo caso d’uso. Per ricerche basate esclusivamente sul testo, lascia questo parametro disabilitato per ottimizzare i costi.
Differenza con la ricerca X
La comprensione delle immagini è disponibile sia per la ricerca web che per la ricerca X. Tuttavia, la comprensione dei video (enable_video_understanding) è esclusiva della ricerca X. La ricerca web non può analizzare i video trovati sul web.
Punti chiave
- Abilita con
enable_image_understanding: truenella configurazione della ricerca web - Il modello utilizza internamente
view_imageper analizzare le immagini rilevanti - Utile per diagrammi, grafici, screenshot e confronti visivi
- Aumenta il consumo di token: abilita solo quando necessario
- Si combina con il filtraggio per dominio per un controllo preciso delle fonti
- La comprensione dei video è esclusiva della ricerca X