Prompter multimodala
På denna sida
Text och bilder i samma prompt
Grok 4.5 och senare modeller kan analysera bilder utöver text. Denna multimodala förmåga öppnar upp för en mängd möjligheter: bildbeskrivning, OCR, diagramanalys, visuell jämförelse och mer.
Genom att bemästra multimodala prompter kan du använda Grok som en visuell assistent utöver att vara en textassistent.
Skicka en bild till Grok
Med Responses API (huvudendpoint) integreras bilder i fältet input som typade objekt:
{
"model": "grok-4.5",
"input": [
{"type": "input_image", "image_url": "https://exemple.com/dashboard.png"},
{"type": "input_text", "text": "Analyze this dashboard and identify declining metrics."}
]
}
Med Chat Completions API (äldre endpoint) är strukturen något annorlunda:
{
"model": "grok-4.5",
"messages": [{
"role": "user",
"content": [
{"type": "image_url", "image_url": {"url": "https://exemple.com/dashboard.png", "detail": "high"}},
{"type": "text", "text": "Analyze this dashboard and identify declining metrics."}
]
}]
}
Parametern detail: styr noggrannheten
Nivån på detaljgraden påverkar djupet i analysen och antalet tokens som konsumeras:
detail: low
Bilden bearbetas snabbt vid en reducerad upplösning. Använd detta läge för att:
- Klassificera bilder (foto, illustration, diagram)
- Beskriva generellt innehåll
- Identifiera huvudobjekt
- Sortera bilder efter kategori
Konsumtion: färre tokens, snabbare svar.
detail: high
Bilden analyseras i hög upplösning. Använd detta läge för att:
- Läsa text i en bild (OCR)
- Analysera detaljer i ett diagram eller diagram
- Jämföra precisa visuella element
- Upptäcka defekter eller anomalier
Konsumtion: fler tokens (mellan 256 och 1 792 beroende på storlek), långsammare svar.
detail: auto
Modellen väljer själv lämplig nivå. Detta är standardbeteendet.
Bildkällor
Direkt URL
Den enklaste metoden: ange en HTTPS-länk till bilden.
{"type": "input_image", "image_url": "https://exemple.com/photo.jpg"}
Base64 (data URI)
För bilder som inte är värdar online, koda dem i base64:
{"type": "input_image", "image_url": "data:image/png;base64,iVBORw0KGgo..."}
Denna metod är användbar för skärmdumpar, programmatiskt genererade bilder eller bilder från en bearbetningspipeline.
Praktiska användningsfall
OCR och textextrahering
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/facture.jpg"},
{"type": "input_text", "text": "Extract from this invoice: the invoice number, date, amount excluding tax, VAT, and amount including tax. Return the result in JSON."}
]
}
Diagramanalys
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/graphique-ventes.png"},
{"type": "input_text", "text": "This chart shows our monthly sales over 12 months. Identify trends, peaks, and troughs. Suggest possible explanations for the variations."}
]
}
Bildjämförelse
{
"input": [
{"type": "input_text", "text": "Compare these two versions of our logo:"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v1.png"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v2.png"},
{"type": "input_text", "text": "Identify the differences and recommend the best version for web use."}
]
}
Analys av användargränssnitt
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/mockup.png"},
{"type": "input_text", "text": "Evaluate this mobile interface mockup based on the following criteria: readability, visual hierarchy, accessibility, consistency. Rate each criterion out of 10."}
]
}
Viktiga tekniska begränsningar
- Maximal storlek: 20 MB per bild
- Format: Endast JPG, JPEG och PNG (ingen GIF, SVG eller WebP)
- Ingen gräns för antalet bilder per begäran
- xAI-tips: använd
store: falsei Responses API när du arbetar med bilder för att undvika fel relaterade till historiklagring
Skriva en bra multimodal prompt
Samma principer för tydlighet gäller, med specifika anpassningar för bilder:
- Avisera bilden: berätta för modellen vad den kommer att se innan bilden visas
- Var precis med uppgiften: “Beskriv denna bild” är vagt; “Extrahera data från stapeldiagrammet och returnera det i CSV” är precist
- Styr uppmärksamheten: om bara en del av bilden intresserar dig, ange det (“Fokusera på det övre högra hörnet”)
- Ange utdataformat: precis som med textprompter, ange om du förväntar dig JSON, en lista eller en tabell
Praktisk övning
Ta en skärmdump av en instrumentpanel, ett diagram eller ett dokument och skicka den till Grok med en specifik förfrågan. Testa med detail: low och sedan detail: high och jämför kvaliteten och hastigheten på svaren.
Viktiga punkter
- grok-4.5+ modeller analyserar bilder utöver text
- Parametern
detail(low, auto, high) styr analysdjup och tokenkostnad - Bilder kan tillhandahållas via URL eller base64
- Avisera bilden, var precis med uppgiften och ange utdataformat
- Använd
store: falseför att undvika lagringsproblem med bilder - Accepterade format är begränsade till JPG, JPEG och PNG, med en maximal storlek på 20 MB