Een afbeelding analyseren met Grok
Op deze pagina
Computervisie met de Grok API
Grok-modellen met ondersteuning voor visie kunnen zowel afbeeldingen als tekst analyseren. U stuurt een afbeelding (via een URL of in base64) samen met een vraag, en het model beschrijft deze, analyseert deze of haalt visuele informatie eruit. Deze mogelijkheid opent concrete toepassingen: gegevens extraheren uit screenshots, grafieken analyseren, gescande documenten lezen.
Indeling van de afbeeldingsinvoer
Om een afbeelding te verzenden, gebruikt u een array met gemengde inhoud (tekst en afbeelding) in het veld input:
[
{
"type": "input_image",
"image_url": "https://exemple.com/mon-image.jpg"
},
{
"type": "input_text",
"text": "What do you see in this image?"
}
]
Het type input_image accepteert een openbare URL naar de afbeelding. Het type input_text bevat uw vraag of instructie.
Python-voorbeeld
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": "https://exemple.com/graphique-ventes.png"
},
{
"type": "input_text",
"text": "Analyze this chart. What's the main trend?"
}
]
)
print(response.output[0].content[0].text)
Met het formaat chat/completions
Als u het verouderde eindpunt /v1/chat/completions gebruikt, wijkt de indeling iets af:
response = client.chat.completions.create(
model="grok-4.5",
messages=[
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {"url": "https://exemple.com/photo.jpg"}
},
{
"type": "text",
"text": "Describe this image in detail."
}
]
}
]
)
Verschillen in indeling
| Eindpunt | Afbeeldingstype | Teksttype |
|---|---|---|
/v1/responses | input_image | input_text |
/v1/chat/completions | image_url | text |
Een afbeelding in base64 verzenden
Als uw afbeelding niet via een URL bereikbaar is (een lokaal bestand, een gegenereerde afbeelding), codeert u deze in base64:
import base64
with open("capture.png", "rb") as f:
image_base64 = base64.b64encode(f.read()).decode("utf-8")
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": f"data:image/png;base64,{image_base64}"
},
{
"type": "input_text",
"text": "Read the text in this screenshot."
}
]
)
Praktische use-cases
Gegevensextractie
Stuur een foto van een factuur of bonnetje en vraag het model om bedragen, data en referentienummers te extraheren.
Grafiekanalyse
Dien een grafiek of diagram in en vraag om een interpretatie van de trends en kerncijfers.
Hulp bij coderen
Deel een screenshot van een fout in uw IDE en vraag om een uitleg en een oplossing.
Beschrijving van interfaces
Stuur een mock-up of screenshot en vraag het model om de interface-elementen die erin voorkomen te beschrijven.
Modellen met visieondersteuning
Niet elk Grok-model ondersteunt visie. Gebruik grok-4.5, dat beeldondersteuning bevat. “Mini”- of “fast”-modellen hebben mogelijk beperkte of geen ondersteuning.
Belangrijkste punten
- Gebruik het type
input_imagemet het eindpunt/v1/responsesom afbeeldingen te verzenden - U kunt afbeeldingen verzenden via een openbare URL of base64-gecodeerd
- Het model
grok-4.5ondersteunt afbeeldingsanalyse - Combineer afbeelding en tekst in een array om vragen over visuele inhoud te stellen