Vision: afbeeldingen analyseren met Grok
Op deze pagina
Afbeeldingsbegrip met Chat Completions
Grok-modellen (vanaf grok-4.5) beschikken over visuele mogelijkheden waarmee u afbeeldingen kunt analyseren, beschrijven en er redeneringen over kunt uitvoeren. U gebruikt deze functie via het array-formaat van het veld content, waarbij u objecten text en image_url combineert.
De gebruiksmogelijkheden zijn talrijk: tekst extraheren uit gescande documenten (OCR), grafieken analyseren, gebruikersinterfaces beschrijven, visuele vergelijkingen maken of technische diagrammen interpreteren.
Een afbeelding verzenden via URL
De eenvoudigste methode is het opgeven van de openbare URL van de afbeelding:
from openai import OpenAI
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Describe what you see in this image."},
{
"type": "image_url",
"image_url": {
"url": "https://example.com/photo-architecture.jpg",
"detail": "high"
}
}
]
}
]
)
print(response.choices[0].message.content)
De servers van xAI downloaden de afbeelding op het moment van het verzoek. De afbeelding moet openbaar toegankelijk zijn.
Een afbeelding verzenden in Base64
Voor lokale of privé-afbeeldingen gebruikt u base64-codering:
import base64
def encode_image(image_path: str) -> str:
with open(image_path, "rb") as f:
return base64.b64encode(f.read()).decode("utf-8")
image_data = encode_image("capture-ecran.png")
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What text is visible in this screenshot?"},
{
"type": "image_url",
"image_url": {
"url": f"data:image/png;base64,{image_data}"
}
}
]
}
]
)
Het URL-formaat is data:image/{format};base64,{data}, waarbij {format} staat voor jpeg, jpg of png.
Detailniveaus: auto, low en high
De parameter detail bepaalt de resolutie waarmee het model de afbeelding analyseert:
detail: “low”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/icone.png",
"detail": "low"
}
}
De afbeelding wordt verkleind naar een lage resolutie voordat deze wordt geanalyseerd. Dit is de snelste modus en kost de minste tokens. Gebruik deze modus voor eenvoudige afbeeldingen: pictogrammen, logo’s en basisdiagrammen.
detail: “high”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/document-scan.jpg",
"detail": "high"
}
}
De afbeelding wordt geanalyseerd met een hoge resolutie. Het model kan kleine tekst lezen, fijne details identificeren en specifieke gebieden analyseren. Dit is de aanbevolen modus voor documenten, schermafbeeldingen en gedetailleerde foto’s.
detail: “auto”
Het model kiest automatisch het detailniveau op basis van de grootte en complexiteit van de afbeelding. Dit is de standaardwaarde als u de parameter weglaat.
Meerdere afbeeldingen analyseren
U kunt meerdere afbeeldingen in één bericht verzenden voor vergelijkingen of kruisanalyses:
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Compare these two versions of the design. What are the differences?"},
{"type": "image_url", "image_url": {"url": "https://example.com/v1.png", "detail": "high"}},
{"type": "image_url", "image_url": {"url": "https://example.com/v2.png", "detail": "high"}}
]
}
]
)
Er is geen limiet op het aantal afbeeldingen per verzoek, maar elke afbeelding verbruikt extra tokens.
Technische beperkingen
Houd rekening met de volgende limieten bij het gebruik van vision:
- Maximale grootte: 20 MiB per afbeelding
- Ondersteunde indelingen: Alleen JPG, JPEG en PNG
- Compatibele modellen: grok-4 en hoger (oudere modellen ondersteunen geen vision)
- Tokens: afbeeldingen verbruiken tokens die worden opgeteld bij de tekstkosten van het verzoek
Belangrijkste punten
- Vision gebruikt het array-formaat van het veld
contentmetimage_url-objecten - Afbeeldingen kunnen worden verzonden via een openbare URL of gecodeerd in base64
- Drie detailniveaus:
auto(standaard),low(snel/zuinig) enhigh(gedetailleerd) - Maximale grootte van 20 MiB per afbeelding, alleen indelingen JPG en PNG
- Meerdere afbeeldingen kunnen in één bericht worden verzonden voor vergelijkingen