Analizar una imagen con Grok
En esta página
Visión por computador con la API de Grok
Los modelos de Grok con soporte de visión pueden analizar imágenes además de texto. Envías una imagen (mediante una URL o en base64) junto con una pregunta, y el modelo la describe, la analiza o extrae información visual. Esta capacidad abre posibilidades concretas: extraer datos de capturas de pantalla, analizar gráficos o leer documentos escaneados.
Formato de entrada de imagen
Para enviar una imagen, utilizas un array de contenido mixto (texto e imagen) en el campo input:
[
{
"type": "input_image",
"image_url": "https://exemple.com/mon-image.jpg"
},
{
"type": "input_text",
"text": "¿Qué ves en esta imagen?"
}
]
El tipo input_image acepta una URL pública a la imagen. El tipo input_text contiene tu pregunta o instrucción.
Ejemplo en Python
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": "https://exemple.com/graphique-ventes.png"
},
{
"type": "input_text",
"text": "Analiza este gráfico. ¿Cuál es la tendencia principal?"
}
]
)
print(response.output[0].content[0].text)
Con el formato chat/completions
Si utilizas el endpoint heredado /v1/chat/completions, el formato es ligeramente diferente:
response = client.chat.completions.create(
model="grok-4.5",
messages=[
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {"url": "https://exemple.com/photo.jpg"}
},
{
"type": "text",
"text": "Describe esta imagen en detalle."
}
]
}
]
)
Diferencias de formato
| Endpoint | Tipo de imagen | Tipo de texto |
|---|---|---|
/v1/responses | input_image | input_text |
/v1/chat/completions | image_url | text |
Enviar una imagen en base64
Si tu imagen no es accesible mediante URL (un archivo local, una imagen generada), codifícala en base64:
import base64
with open("capture.png", "rb") as f:
image_base64 = base64.b64encode(f.read()).decode("utf-8")
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": f"data:image/png;base64,{image_base64}"
},
{
"type": "input_text",
"text": "Lee el texto de esta captura de pantalla."
}
]
)
Casos de uso reales
Extracción de datos
Envía una foto de una factura o un recibo y pide al modelo que extraiga los importes, las fechas y los números de referencia.
Análisis de gráficos
Envía un gráfico o un diagrama y solicita una interpretación de las tendencias y las cifras clave.
Ayuda con la programación
Comparte una captura de pantalla de un error en tu IDE y pide una explicación y una solución.
Descripción de interfaces
Envía un maqueta o una captura de pantalla y pide al modelo que describa los elementos de la interfaz que contiene.
Modelos con capacidad de visión
No todos los modelos de Grok admiten visión. Utiliza grok-4.5, que incluye soporte de imágenes. Los modelos “Mini” o “fast” pueden tener un soporte limitado o nulo.
Puntos clave
- Utiliza el tipo
input_imagecon el endpoint/v1/responsespara enviar imágenes - Puedes enviar imágenes mediante URL pública o codificadas en base64
- El modelo
grok-4.5admite el análisis de imágenes - Combina imagen y texto en un array para formular preguntas sobre contenido visual