Vision: Analyser billeder med Grok
På denne side
Billedforståelse med Chat Completions
Grok-modeller (fra og med grok-4.5) inkluderer visionsfunktioner, der lader dig analysere, beskrive og ræsonnere over billeder. Du bruger denne funktion via array-formatet i feltet content, hvor du kombinerer text- og image_url-objekter.
Anvendelsesmulighederne er mange: udtrækning af tekst fra scannede dokumenter (OCR), analyse af diagrammer, beskrivelse af brugergrænseflader, visuel sammenligning eller fortolkning af tekniske tegninger.
Send et billede via URL
Den enkleste metode er at angive den offentlige URL til billedet:
from openai import OpenAI
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Describe what you see in this image."},
{
"type": "image_url",
"image_url": {
"url": "https://example.com/photo-architecture.jpg",
"detail": "high"
}
}
]
}
]
)
print(response.choices[0].message.content)
xAI-serverne downloader billedet på anmodningstidspunktet. Det skal være offentligt tilgængeligt.
Send et billede i Base64
Til lokale eller private billeder skal du bruge base64-kodning:
import base64
def encode_image(image_path: str) -> str:
with open(image_path, "rb") as f:
return base64.b64encode(f.read()).decode("utf-8")
image_data = encode_image("capture-ecran.png")
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What text is visible in this screenshot?"},
{
"type": "image_url",
"image_url": {
"url": f"data:image/png;base64,{image_data}"
}
}
]
}
]
)
URL-formatet er data:image/{format};base64,{data}, hvor {format} er jpeg, jpg eller png.
Detaljeniveauer: auto, low og high
Parameteren detail styrer den opløsning, som modellen analyserer billedet i:
detail: “low”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/icone.png",
"detail": "low"
}
}
Billedet skaleres ned til en lav opløsning før analyse. Dette er den hurtigste tilstand og koster færrest tokens. Brug den til simple billeder: ikoner, logoer, basale diagrammer.
detail: “high”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/document-scan.jpg",
"detail": "high"
}
}
Billedet analyseres i høj opløsning. Modellen kan læse lille tekst, identificere fine detaljer og analysere specifikke områder. Dette er den anbefalede tilstand til dokumenter, skærmbilleder og detaljerede fotografier.
detail: “auto”
Modellen vælger automatisk detaljeniveauet baseret på billedets størrelse og kompleksitet. Dette er standardværdien, hvis du udelader parameteren.
Analyser flere billeder
Du kan sende flere billeder i en enkelt besked til sammenligning eller krydsanalyse:
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Compare these two versions of the design. What are the differences?"},
{"type": "image_url", "image_url": {"url": "https://example.com/v1.png", "detail": "high"}},
{"type": "image_url", "image_url": {"url": "https://example.com/v2.png", "detail": "high"}}
]
}
]
)
Der er ingen grænse for antallet af billeder pr. anmodning, men hvert billede forbruger yderligere tokens.
Tekniske begrænsninger
Husk disse grænser, når du bruger vision:
- Maksimal størrelse: 20 MiB pr. billede
- Understøttede formater: Kun JPG, JPEG og PNG
- Kompatible modeller: grok-4 og nyere (ældre modeller understøtter ikke vision)
- Tokens: Billeder forbruger tokens, der lægges til tekstomkostningen for anmodningen
Vigtige pointer
- Vision bruger array-formatet i feltet
contentmedimage_url-objekter - Billeder kan sendes via offentlig URL eller kodet i base64
- Tre detaljeniveauer:
auto(standard),low(hurtig/økonomisk) oghigh(detaljeret) - Maksimal størrelse på 20 MiB pr. billede, kun formaterne JPG og PNG
- Flere billeder kan sendes i en enkelt besked til sammenligninger