Analisar uma imagem com o Grok
Nesta página
Visão computacional com a API do Grok
Os modelos Grok com suporte de visão conseguem analisar imagens tal como analisam texto. Envie uma imagem (através de um URL ou em base64) juntamente com uma pergunta, e o modelo irá descrevê-la, analisá-la ou extrair informações visuais. Esta capacidade abre possibilidades concretas: extração de dados de capturas de ecrã, análise de gráficos ou leitura de documentos digitalizados.
Formato de entrada da imagem
Para enviar uma imagem, utilize um array de conteúdo misto (texto e imagem) no campo input:
[
{
"type": "input_image",
"image_url": "https://exemple.com/mon-image.jpg"
},
{
"type": "input_text",
"text": "What do you see in this image?"
}
]
O tipo input_image aceita um URL público para a imagem. O tipo input_text contém a sua pergunta ou instrução.
Exemplo em Python
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": "https://exemple.com/graphique-ventes.png"
},
{
"type": "input_text",
"text": "Analyze this chart. What's the main trend?"
}
]
)
print(response.output[0].content[0].text)
Com o formato chat/completions
Se utilizar o endpoint legado /v1/chat/completions, o formato é ligeiramente diferente:
response = client.chat.completions.create(
model="grok-4.5",
messages=[
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {"url": "https://exemple.com/photo.jpg"}
},
{
"type": "text",
"text": "Describe this image in detail."
}
]
}
]
)
Diferenças de formato
| Endpoint | Tipo de imagem | Tipo de texto |
|---|---|---|
/v1/responses | input_image | input_text |
/v1/chat/completions | image_url | text |
Enviar uma imagem em base64
Se a sua imagem não estiver acessível por URL (um ficheiro local, uma imagem gerada), codifique-a em base64:
import base64
with open("capture.png", "rb") as f:
image_base64 = base64.b64encode(f.read()).decode("utf-8")
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": f"data:image/png;base64,{image_base64}"
},
{
"type": "input_text",
"text": "Read the text in this screenshot."
}
]
)
Casos de uso reais
Extração de dados
Envie uma fotografia de uma fatura ou de um recibo e peça ao modelo para extrair os valores, datas e números de referência.
Análise de gráficos
Submeta um gráfico ou um diagrama e solicite uma interpretação das tendências e dos valores-chave.
Ajuda na programação
Partilhe uma captura de ecrã de um erro no seu IDE e peça uma explicação e uma solução.
Descrição de interface
Envie um mockup ou uma captura de ecrã e peça ao modelo para descrever os elementos da interface que contém.
Modelos com capacidade de visão
Nem todos os modelos Grok suportam visão. Utilize o grok-4.5, que inclui suporte de imagem. Os modelos “Mini” ou “fast” podem ter suporte limitado ou nenhum.
Pontos-chave
- Utilize o tipo
input_imagecom o endpoint/v1/responsespara enviar imagens - Pode enviar imagens através de um URL público ou codificadas em base64
- O modelo
grok-4.5suporta análise de imagens - Combine imagem e texto num array para fazer perguntas sobre conteúdo visual