Többmodális promptok
Ezen az oldalon
Szöveg és képek ugyanabban a promptban
A Grok 4.5 és az azt követő modellek a szöveg mellett képeket is képesek elemezni. Ez a többmodális képesség számos lehetőséget nyit meg: képleírás, OCR (szövegfelismerés), diagramok elemzése, vizuális összehasonlítás és még sok más.
Ha elsajátítod a többmodális promptok használatát, a Grokot szöveges asszisztensként való alkalmazás mellett vizuális segédként is bevetheted.
Kép küldése a Groknak
A Responses API (fő végpont) esetén a képeket begépelt objektumokként integráljuk az input mezőbe:
{
"model": "grok-4.5",
"input": [
{"type": "input_image", "image_url": "https://exemple.com/dashboard.png"},
{"type": "input_text", "text": "Analyze this dashboard and identify declining metrics."}
]
}
A Chat Completions API (örökölt végpont) esetén a struktúra kissé eltérő:
{
"model": "grok-4.5",
"messages": [{
"role": "user",
"content": [
{"type": "image_url", "image_url": {"url": "https://exemple.com/dashboard.png", "detail": "high"}},
{"type": "text", "text": "Analyze this dashboard and identify declining metrics."}
]
}]
}
A detail paraméter: a pontosság szabályozása
A részletességi szint befolyásolja az elemzés mélységét és a felhasznált tokenek számát:
detail: low
A kép gyorsan, csökkentett felbontásban kerül feldolgozásra. Ezt a módot akkor használd, ha:
- Képeket szeretnél osztályozni (fotó, illusztráció, diagram)
- Általános tartalmat szeretnél leírni
- Fő objektumokat szeretnél azonosítani
- Képeket szeretnél kategóriák szerint rendezni
Fogyasztás: kevesebb token, gyorsabb válasz.
detail: high
A kép nagy felbontásban kerül elemzésre. Ezt a módot akkor használd, ha:
- Szöveget szeretnél olvasni egy képről (OCR)
- Részleteket szeretnél elemezni egy diagramon vagy ábrán
- Precíz vizuális elemeket szeretnél összehasonlítani
- Hibákat vagy anomáliákat szeretnél észlelni
Fogyasztás: több token (mérettől függően 256 és 1792 között), lassabb válasz.
detail: auto
A modell maga választja ki a megfelelő szintet. Ez az alapértelmezett viselkedés.
Képforrások
Közvetlen URL
A legegyszerűbb módszer: adj meg egy HTTPS hivatkozást a képhez.
{"type": "input_image", "image_url": "https://exemple.com/photo.jpg"}
Base64 (data URI)
Azoknál a képeknél, amelyek nincsenek online hosztolva, kódold őket base64 formátumba:
{"type": "input_image", "image_url": "data:image/png;base64,iVBORw0KGgo..."}
Ez a módszer hasznos képernyőmentéseknél, programozottan generált képeknél vagy feldolgozási folyamatból származó képeknél.
Gyakorlati alkalmazási esetek
OCR és szövegkinyerés
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/facture.jpg"},
{"type": "input_text", "text": "Extract from this invoice: the invoice number, date, amount excluding tax, VAT, and amount including tax. Return the result in JSON."}
]
}
Diagramok elemzése
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/graphique-ventes.png"},
{"type": "input_text", "text": "This chart shows our monthly sales over 12 months. Identify trends, peaks, and troughs. Suggest possible explanations for the variations."}
]
}
Képek összehasonlítása
{
"input": [
{"type": "input_text", "text": "Compare these two versions of our logo:"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v1.png"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v2.png"},
{"type": "input_text", "text": "Identify the differences and recommend the best version for web use."}
]
}
Felhasználói felület elemzése
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/mockup.png"},
{"type": "input_text", "text": "Evaluate this mobile interface mockup based on the following criteria: readability, visual hierarchy, accessibility, consistency. Rate each criterion out of 10."}
]
}
Főbb technikai korlátok
- Maximális méret: képenként 20 MB
- Formátumok: kizárólag JPG, JPEG és PNG (nincs GIF, SVG vagy WebP)
- Nincs korlát a kérésenkénti képek számára vonatkozóan
- xAI tipp: használj
store: falseértéket a Responses API-ban képekkel való munka során, hogy elkerüld az előzménytárolással kapcsolatos hibákat
Jó többmodális prompt írása
Ugyanazok az átláthatósági elvek érvényesek, képspecifikus kiegészítésekkel:
- Jelentsd be a képet: mondd el a modellnek, mit fog látni, mielőtt megkapná a képet
- Légy precíz a feladatban: a „Írd le ezt a képet“ túl homályos; a „Nyerd ki az adatokat az oszlopdiagramból, és add vissza CSV formátumban“ precíz
- Irányítsd a figyelmet: ha csak a kép egy része érdekel, jelezd ezt („Fókuszálj a jobb felső sarokra“)
- Add meg a kimeneti formátumot: akárcsak a szöveges promptoknál, specifikáld, ha JSON-t, listát vagy táblázatot vársz
Gyakorlati feladat
Készíts egy képernyőmentést egy irányítópultról, diagramról vagy dokumentumról, és küldd el a Groknak egy konkrét kéréssel. Teszteld először a detail: low, majd a detail: high beállítással, és hasonlítsd össze a válaszok minőségét és sebességét.
Főbb megállapítások
- A grok-4.5+ modellek a szöveg mellett képeket is elemeznek
- A
detailparaméter (low, auto, high) szabályozza az elemzés mélységét és a tokenköltséget - A képek URL-en vagy base64 kódolással is megadhatók
- Jelentsd be a képet, légy precíz a feladatban, és add meg a kimeneti formátumot
- Használd a
store: falsebeállítást a képekkel kapcsolatos tárolási problémák elkerülésére - Az elfogadott formátumok a JPG, JPEG és PNG, maximális méretük pedig 20 MB