Prompts Multimodais
Nesta página
Texto e imagens no mesmo prompt
Os modelos Grok 4.5 e versões posteriores conseguem analisar imagens para além do texto. Esta capacidade multimodal abre um leque vasto de possibilidades: descrição de imagens, OCR, análise de gráficos, comparação visual, entre outras.
Dominar os prompts multimodais permite-lhe utilizar o Grok como um assistente visual, além de assistente de texto.
Envio de uma imagem para o Grok
Com a API de Respostas (endpoint principal), as imagens são integradas no campo input como objetos tipados:
{
"model": "grok-4.5",
"input": [
{"type": "input_image", "image_url": "https://exemple.com/dashboard.png"},
{"type": "input_text", "text": "Analyze this dashboard and identify declining metrics."}
]
}
Com a API de Completions de Chat (endpoint legado), a estrutura é ligeiramente diferente:
{
"model": "grok-4.5",
"messages": [{
"role": "user",
"content": [
{"type": "image_url", "image_url": {"url": "https://exemple.com/dashboard.png", "detail": "high"}},
{"type": "text", "text": "Analyze this dashboard and identify declining metrics."}
]
}]
}
O parâmetro detail: controlo da precisão
O nível de detalhe influencia a profundidade da análise e o número de tokens consumidos:
detail: low
A imagem é processada rapidamente numa resolução reduzida. Utilize este modo para:
- Classificar imagens (fotografia, ilustração, diagrama)
- Descrever o conteúdo geral
- Identificar objetos principais
- Ordenar imagens por categoria
Consumo: menos tokens, resposta mais rápida.
detail: high
A imagem é analisada em alta resolução. Utilize este modo para:
- Ler texto numa imagem (OCR)
- Analisar detalhes num gráfico ou diagrama
- Comparar elementos visuais precisos
- Detetar defeitos ou anomalias
Consumo: mais tokens (entre 256 e 1.792, dependendo do tamanho), resposta mais lenta.
detail: auto
O modelo escolhe autonomamente o nível adequado. Este é o comportamento predefinido.
Fontes de imagem
URL direta
O método mais simples: forneça uma ligação HTTPS para a imagem.
{"type": "input_image", "image_url": "https://exemple.com/photo.jpg"}
Base64 (data URI)
Para imagens que não estejam alojadas online, codifique-as em base64:
{"type": "input_image", "image_url": "data:image/png;base64,iVBORw0KGgo..."}
Este método é útil para capturas de ecrã, imagens geradas programaticamente ou imagens provenientes de um pipeline de processamento.
Casos de uso práticos
OCR e extração de texto
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/facture.jpg"},
{"type": "input_text", "text": "Extract from this invoice: the invoice number, date, amount excluding tax, VAT, and amount including tax. Return the result in JSON."}
]
}
Análise de gráficos
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/graphique-ventes.png"},
{"type": "input_text", "text": "This chart shows our monthly sales over 12 months. Identify trends, peaks, and troughs. Suggest possible explanations for the variations."}
]
}
Comparação de imagens
{
"input": [
{"type": "input_text", "text": "Compare these two versions of our logo:"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v1.png"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v2.png"},
{"type": "input_text", "text": "Identify the differences and recommend the best version for web use."}
]
}
Análise de interface de utilizador
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/mockup.png"},
{"type": "input_text", "text": "Evaluate this mobile interface mockup based on the following criteria: readability, visual hierarchy, accessibility, consistency. Rate each criterion out of 10."}
]
}
Restrições técnicas principais
- Tamanho máximo: 20 MB por imagem
- Formatos: Apenas JPG, JPEG e PNG (sem GIF, SVG ou WebP)
- Sem limite no número de imagens por pedido
- Dica da xAI: utilize
store: falsena API de Respostas quando trabalhar com imagens para evitar erros relacionados com o armazenamento do histórico
Como escrever um bom prompt multimodal
Aplicam-se os mesmos princípios de clareza, com especificidades para imagens:
- Anuncie a imagem: indique ao modelo o que vai ver antes da imagem
- Seja preciso na tarefa: “Descreva esta imagem” é vago; “Extraia os dados do gráfico de barras e devolva-os em CSV” é preciso
- Oriente a atenção: se apenas uma parte da imagem lhe interessa, indique-o (“Concentre-se no canto superior direito”)
- Especifique o formato de saída: tal como nos prompts de texto, especifique se espera JSON, uma lista ou uma tabela
Prática hands-on
Tire uma captura de ecrã de um painel de controlo, gráfico ou documento e envie-a para o Grok com um pedido específico. Teste com detail: low e depois com detail: high, comparando a qualidade e a velocidade das respostas.
Pontos-chave
- Os modelos grok-4.5+ analisam imagens para além do texto
- O parâmetro
detail(low, auto, high) controla a profundidade da análise e o custo em tokens - As imagens podem ser fornecidas via URL ou base64
- Anuncie a imagem, seja preciso na tarefa e especifique o formato de saída
- Utilize
store: falsepara evitar problemas de armazenamento com imagens - Os formatos aceites limitam-se a JPG, JPEG e PNG, com um tamanho máximo de 20 MB