Vision: Analysera bilder med Grok
På denna sida
Bildförståelse med Chat Completions
Grok-modeller (från och med grok-4.5) inkluderar visuella funktioner som låter dig analysera, beskriva och resonera kring bilder. Du använder denna funktion via array-formatet i fältet content, där du kombinerar objekt av typen text och image_url.
Användningsområdena är många: extrahering av text från skannade dokument (OCR), analys av diagram, beskrivning av användargränssnitt, visuell jämförelse eller tolkning av tekniska ritningar.
Skicka en bild via URL
Det enklaste sättet är att ange en offentlig URL till bilden:
from openai import OpenAI
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Describe what you see in this image."},
{
"type": "image_url",
"image_url": {
"url": "https://example.com/photo-architecture.jpg",
"detail": "high"
}
}
]
}
]
)
print(response.choices[0].message.content)
xAI:s servrar laddar ner bilden vid tidpunkten för begäran. Den måste vara offentligt tillgänglig.
Skicka en bild i Base64
För lokala eller privata bilder använder du base64-kodning:
import base64
def encode_image(image_path: str) -> str:
with open(image_path, "rb") as f:
return base64.b64encode(f.read()).decode("utf-8")
image_data = encode_image("capture-ecran.png")
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What text is visible in this screenshot?"},
{
"type": "image_url",
"image_url": {
"url": f"data:image/png;base64,{image_data}"
}
}
]
}
]
)
URL-formatet är data:image/{format};base64,{data} där {format} är jpeg, jpg eller png.
Detaljnivåer: auto, low och high
Parametern detail styr den upplösning med vilken modellen analyserar bilden:
detail: “low”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/icone.png",
"detail": "low"
}
}
Bilden skalas ner till en låg upplösning innan analys. Detta är det snabbaste läget och kostar minst tokens. Använd det för enkla bilder: ikoner, logotyper, grundläggande diagram.
detail: “high”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/document-scan.jpg",
"detail": "high"
}
}
Bilden analyseras i hög upplösning. Modellen kan läsa liten text, identifiera fina detaljer och analysera specifika områden. Detta är det rekommenderade läget för dokument, skärmdumpar och detaljerade fotografier.
detail: “auto”
Modellen väljer automatiskt detaljnivå baserat på bildens storlek och komplexitet. Detta är standardvärdet om du utelämnar parametern.
Analysera flera bilder
Du kan skicka flera bilder i ett enda meddelande för jämförelse eller korsanalys:
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Compare these two versions of the design. What are the differences?"},
{"type": "image_url", "image_url": {"url": "https://example.com/v1.png", "detail": "high"}},
{"type": "image_url", "image_url": {"url": "https://example.com/v2.png", "detail": "high"}}
]
}
]
)
Det finns ingen gräns för antalet bilder per begäran, men varje bild förbrukar ytterligare tokens.
Tekniska begränsningar
Ha följande gränser i åtanke när du använder vision:
- Maximal storlek: 20 MiB per bild
- Format som stöds: Endast JPG, JPEG och PNG
- Kompatibla modeller: grok-4 och högre (äldre modeller stöder inte vision)
- Tokens: Bilder förbrukar tokens som läggs till textkostnaden för begäran
Viktiga punkter
- Vision använder array-formatet i fältet
contentmed objekt av typenimage_url - Bilder kan skickas via offentlig URL eller kodas i base64
- Tre detaljnivåer:
auto(standard),low(snabbt/ekonomiskt) ochhigh(detaljerat) - Maximal storlek på 20 MiB per bild, endast formaten JPG och PNG
- Flera bilder kan skickas i ett enda meddelande för jämförelser