Comprensión de imágenes en la búsqueda web
En esta página
Análisis de imágenes encontradas en la web
La búsqueda web va más allá del texto. Con el parámetro enable_image_understanding, puedes pedir al modelo que analice las imágenes que encuentre durante su búsqueda en la web. Esta función amplía significativamente las capacidades de búsqueda, especialmente para preguntas visuales o temas donde las imágenes aportan información que complementa al texto.
Activación
Activa esta función añadiendo el parámetro enable_image_understanding a tu configuración de búsqueda web:
{
"tools": [{
"type": "web_search",
"enable_image_understanding": true
}]
}
Cuando está activada, el modelo puede utilizar la herramienta interna view_image para analizar las imágenes que encuentre durante la búsqueda. Decide automáticamente qué imágenes son relevantes para examinar.
Sintaxis del SDK
xAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture and explain each component",
tools=[client.tools.web_search(
enable_image_understanding=True
)]
)
OpenAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Vercel AI SDK
tools: [xai.tools.webSearch({
enableImageUnderstanding: true
})]
Casos de uso
Análisis de diagramas técnicos
El modelo puede encontrar e interpretar diagramas de arquitectura, diagramas de flujo o gráficos técnicos. Esto resulta especialmente útil para preguntas sobre arquitecturas de software o procesos industriales.
Comparación visual de productos
Para consultas comparativas, el modelo puede analizar capturas de pantalla o fotografías de productos encontradas en la web y extraer observaciones relevantes de ellas.
Análisis visual de datos
Si tu pregunta versa sobre datos presentados en forma de gráficos o tablas visuales, la comprensión de imágenes permite al modelo extraer información de estas representaciones visuales.
Combinación con otros parámetros
La comprensión de imágenes se combina con el filtrado por dominios:
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Analyze the latest LLM performance benchmarks",
tools=[{
"type": "web_search",
"allowed_domains": ["arxiv.org", "huggingface.co"],
"enable_image_understanding": True
}]
)
El modelo buscará únicamente dentro de los dominios permitidos y podrá analizar los gráficos de referencia (benchmarks) que encuentre en las publicaciones.
Impacto en el coste
Activar la comprensión de imágenes incrementa el consumo de tokens. El análisis de cada imagen genera tokens adicionales tanto para la entrada (la imagen codificada) como para la salida (la descripción o análisis). El coste por invocación se mantiene igual (0,005 $), pero el volumen de tokens por solicitud puede aumentar significativamente.
Activa esta función solo cuando las imágenes aporten un valor real a tu caso de uso. Para búsquedas basadas puramente en texto, deja este parámetro desactivado para optimizar los costes.
Diferencia con la búsqueda en X
La comprensión de imágenes está disponible tanto para la búsqueda web como para la búsqueda en X. Sin embargo, la comprensión de vídeo (enable_video_understanding) es exclusiva de la búsqueda en X. La búsqueda web no puede analizar vídeos encontrados en la web.
Puntos clave
- Actívala con
enable_image_understanding: trueen la configuración de búsqueda web - El modelo utiliza
view_imageinternamente para analizar las imágenes relevantes - Útil para diagramas, gráficos, capturas de pantalla y comparaciones visuales
- Aumenta el consumo de tokens; actívala solo cuando sea relevante
- Se combina con el filtrado por dominios para un control preciso de las fuentes
- La comprensión de vídeo es exclusiva de la búsqueda en X