Multi-modale prompts
Op deze pagina
Tekst en afbeeldingen in dezelfde prompt
Grok 4.5 en latere modellen kunnen naast tekst ook afbeeldingen analyseren. Deze multimodale mogelijkheid opent een breed scala aan toepassingen: beschrijving van afbeeldingen, OCR, grafiekanalyse, visuele vergelijkingen en meer.
Door multi-modale prompts onder de knie te krijgen, gebruikt u Grok niet alleen als tekstassistent, maar ook als visuele assistent.
Een afbeelding naar Grok sturen
Bij de Responses API (hoofdeindpunt) worden afbeeldingen als getypte objecten in het veld input opgenomen:
{
"model": "grok-4.5",
"input": [
{"type": "input_image", "image_url": "https://exemple.com/dashboard.png"},
{"type": "input_text", "text": "Analyze this dashboard and identify declining metrics."}
]
}
Bij de Chat Completions API (verouderd eindpunt) is de structuur iets anders:
{
"model": "grok-4.5",
"messages": [{
"role": "user",
"content": [
{"type": "image_url", "image_url": {"url": "https://exemple.com/dashboard.png", "detail": "high"}},
{"type": "text", "text": "Analyze this dashboard and identify declining metrics."}
]
}]
}
De parameter detail: nauwkeurigheid sturen
Het detailniveau beïnvloedt de diepgang van de analyse en het aantal verbruikte tokens:
detail: low
De afbeelding wordt snel verwerkt met een lagere resolutie. Gebruik deze modus om:
- Afbeeldingen te classificeren (foto, illustratie, diagram)
- Algemene inhoud te beschrijven
- Hoofdobjecten te identificeren
- Afbeeldingen op categorie te sorteren
Verbruik: minder tokens, snellere respons.
detail: high
De afbeelding wordt in hoge resolutie geanalyseerd. Gebruik deze modus om:
- Tekst in een afbeelding te lezen (OCR)
- Details in een grafiek of diagram te analyseren
- Precieze visuele elementen te vergelijken
- Defecten of anomalieën op te sporen
Verbruik: meer tokens (tussen 256 en 1.792, afhankelijk van de grootte), langzamere respons.
detail: auto
Het model kiest zelf het passende niveau. Dit is het standaardgedrag.
Bronnen voor afbeeldingen
Directe URL
De eenvoudigste methode: geef een HTTPS-link naar de afbeelding.
{"type": "input_image", "image_url": "https://exemple.com/photo.jpg"}
Base64 (data URI)
Voor afbeeldingen die niet online gehost zijn, codeert u ze in base64:
{"type": "input_image", "image_url": "data:image/png;base64,iVBORw0KGgo..."}
Deze methode is nuttig voor screenshots, programmatisch gegenereerde afbeeldingen of afbeeldingen uit een verwerkingspijplijn.
Praktische use-cases
OCR en tekstextractie
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/facture.jpg"},
{"type": "input_text", "text": "Extract from this invoice: the invoice number, date, amount excluding tax, VAT, and amount including tax. Return the result in JSON."}
]
}
Grafiekanalyse
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/graphique-ventes.png"},
{"type": "input_text", "text": "This chart shows our monthly sales over 12 months. Identify trends, peaks, and troughs. Suggest possible explanations for the variations."}
]
}
Afbeeldingsvergelijking
{
"input": [
{"type": "input_text", "text": "Compare these two versions of our logo:"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v1.png"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v2.png"},
{"type": "input_text", "text": "Identify the differences and recommend the best version for web use."}
]
}
Analyse van gebruikersinterfaces
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/mockup.png"},
{"type": "input_text", "text": "Evaluate this mobile interface mockup based on the following criteria: readability, visual hierarchy, accessibility, consistency. Rate each criterion out of 10."}
]
}
Belangrijkste technische beperkingen
- Maximale grootte: 20 MB per afbeelding
- Indelingen: Alleen JPG, JPEG en PNG (geen GIF, SVG of WebP)
- Geen limiet op het aantal afbeeldingen per verzoek
- Tip van xAI: gebruik
store: falsein de Responses API bij het werken met afbeeldingen om fouten gerelateerd aan geschiedenisopslag te voorkomen
Een goede multi-modale prompt schrijven
Dezelfde principes voor duidelijkheid zijn van toepassing, met specifieke aandacht voor afbeeldingen:
- Kondig de afbeelding aan: vertel het model wat het gaat zien voordat de afbeelding volgt
- Wees specifiek over de taak: “Beschrijf deze afbeelding” is vaag; “Extraheer gegevens uit het staafdiagram en retourneer deze in CSV” is specifiek
- Stuur de aandacht: als slechts een deel van de afbeelding u interesseert, geef dit dan aan (“Richt u op de rechterbovenhoek”)
- Specificeer het uitvoerformaat: net als bij tekstprompts, geef aan of u JSON, een lijst of een tabel verwacht
Oefenen in de praktijk
Maak een screenshot van een dashboard, grafiek of document en stuur deze met een specifieke vraag naar Grok. Test met detail: low en vervolgens met detail: high en vergelijk de kwaliteit en snelheid van de responsen.
Belangrijkste punten
- Modellen grok-4.5+ analyseren afbeeldingen naast tekst
- De parameter
detail(low, auto, high) stuurt de diepgang van de analyse en de tokenkosten - Afbeeldingen kunnen via URL of base64 worden aangeleverd
- Kondig de afbeelding aan, wees specifiek over de taak en specificeer het uitvoerformaat
- Gebruik
store: falseom opslagproblemen met afbeeldingen te voorkomen - Geaccepteerde indelingen zijn beperkt tot JPG, JPEG en PNG, met een maximale grootte van 20 MB