Analysera en bild med Grok
På denna sida
Datorseende med Grok API
Grok-modeller med stöd för seende kan analysera både bilder och text. Du skickar en bild (via URL eller i base64) tillsammans med en fråga, så beskriver, analyserar eller extraherar modellen visuell information. Den här förmågan öppnar för konkreta möjligheter: att extrahera data från skärmdumpar, analysera diagram eller läsa in skannade dokument.
Format för bildinmatning
För att skicka en bild använder du en array med blandat innehåll (text och bild) i fältet input:
[
{
"type": "input_image",
"image_url": "https://exemple.com/mon-image.jpg"
},
{
"type": "input_text",
"text": "What do you see in this image?"
}
]
Typen input_image tar en offentlig URL till bilden. Typen input_text innehåller din fråga eller instruktion.
Python-exempel
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": "https://exemple.com/graphique-ventes.png"
},
{
"type": "input_text",
"text": "Analyze this chart. What's the main trend?"
}
]
)
print(response.output[0].content[0].text)
Med formatet chat/completions
Om du använder den äldre endpointen /v1/chat/completions ser formatet lite annorlunda ut:
response = client.chat.completions.create(
model="grok-4.5",
messages=[
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {"url": "https://exemple.com/photo.jpg"}
},
{
"type": "text",
"text": "Describe this image in detail."
}
]
}
]
)
Skillnader i format
| Endpoint | Bildtyp | Texttyp |
|---|---|---|
/v1/responses | input_image | input_text |
/v1/chat/completions | image_url | text |
Skicka en bild i base64
Om din bild inte går att nå via URL (t.ex. en lokal fil eller en genererad bild) kodar du den i base64:
import base64
with open("capture.png", "rb") as f:
image_base64 = base64.b64encode(f.read()).decode("utf-8")
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": f"data:image/png;base64,{image_base64}"
},
{
"type": "input_text",
"text": "Read the text in this screenshot."
}
]
)
Verkliga användningsområden
Dataextraktion
Skicka ett foto på en faktura eller ett kvitto och be modellen extrahera belopp, datum och referensnummer.
Diagramanalys
Skicka ett diagram eller ett diagram och be om en tolkning av trender och nyckeltal.
Kodningshjälp
Dela en skärmdump på ett fel i din IDE och be om en förklaring och en lösning.
Beskrivning av gränssnitt
Skicka en mockup eller en skärmdump och be modellen beskriva de gränssnittselement den innehåller.
Modeller med stöd för seende
Inte alla Grok-modeller stöder seende. Använd grok-4.5, som inkluderar bildstöd. Modellerna “Mini” eller “fast” kan ha begränsat stöd eller inget alls.
Viktiga punkter
- Använd typen
input_imagemed endpointen/v1/responsesför att skicka bilder - Du kan skicka bilder via offentlig URL eller base64-kodade
- Modellen
grok-4.5stöder bildanalys - Kombinera bild och text i en array för att ställa frågor om visuellt innehåll