Viacmodálne výzvy (Multi-Modal Prompts)
Na tejto strane
Text a obrázky v jednej výzve
Modely Grok 4.5 a novšie dokážu analyzovať obrázky rovnako ako text. Táto viacmodálna schopnosť otvára širokú škálu možností: popis obrázkov, OCR, analýzu grafov, vizuálne porovnávanie a ďalšie.
Ovládnutie viacmodálnych výziev ti umožní využívať Grok nielen ako textového, ale aj ako vizuálneho asistenta.
Odoslanie obrázka modelu Grok
Pri používaní Responses API (hlavný koncový bod) sa obrázky integrujú do poľa input ako typované objekty:
{
"model": "grok-4.5",
"input": [
{"type": "input_image", "image_url": "https://exemple.com/dashboard.png"},
{"type": "input_text", "text": "Analyze this dashboard and identify declining metrics."}
]
}
Pri Chat Completions API (starší koncový bod) je štruktúra mierne odlišná:
{
"model": "grok-4.5",
"messages": [{
"role": "user",
"content": [
{"type": "image_url", "image_url": {"url": "https://exemple.com/dashboard.png", "detail": "high"}},
{"type": "text", "text": "Analyze this dashboard and identify declining metrics."}
]
}]
}
Parameter detail: ovládanie presnosti
Úroveň detailu ovplyvňuje hĺbku analýzy a počet spotrebovaných tokenov:
detail: low
Obrázok sa spracuje rýchlo v zníženom rozlíšení. Tento režim použi na:
- Klasifikáciu obrázkov (fotografia, ilustrácia, diagram)
- Opis všeobecného obsahu
- Identifikáciu hlavných objektov
- Zoraďovanie obrázkov podľa kategórie
Spotreba: menej tokenov, rýchlejšia odpoveď.
detail: high
Obrázok sa analyzuje vo vysokom rozlíšení. Tento režim použi na:
- Čítanie textu v obrázku (OCR)
- Analýzu detailov v grafe alebo diagrame
- Porovnávanie presných vizuálnych prvkov
- Detekciu chýb alebo anomálií
Spotreba: viac tokenov (medzi 256 a 1 792 v závislosti od veľkosti), pomalšia odpoveď.
detail: auto
Model si sám zvolí vhodnú úroveň. Toto je predvolené správanie.
Zdroje obrázkov
Priama URL adresa
Najjednoduchšia metóda: poskytni odkaz HTTPS na obrázok.
{"type": "input_image", "image_url": "https://exemple.com/photo.jpg"}
Base64 (data URI)
Pre obrázky, ktoré nie sú hostené online, ich zakóduj do formátu base64:
{"type": "input_image", "image_url": "data:image/png;base64,iVBORw0KGgo..."}
Táto metóda je užitočná pre snímky obrazovky, programovo generované obrázky alebo obrázky zo spracovateľského pipeline.
Praktické prípady použitia
OCR a extrakcia textu
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/facture.jpg"},
{"type": "input_text", "text": "Extract from this invoice: the invoice number, date, amount excluding tax, VAT, and amount including tax. Return the result in JSON."}
]
}
Analýza grafov
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/graphique-ventes.png"},
{"type": "input_text", "text": "This chart shows our monthly sales over 12 months. Identify trends, peaks, and troughs. Suggest possible explanations for the variations."}
]
}
Porovnávanie obrázkov
{
"input": [
{"type": "input_text", "text": "Compare these two versions of our logo:"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v1.png"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v2.png"},
{"type": "input_text", "text": "Identify the differences and recommend the best version for web use."}
]
}
Analýza používateľského rozhrania
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/mockup.png"},
{"type": "input_text", "text": "Evaluate this mobile interface mockup based on the following criteria: readability, visual hierarchy, accessibility, consistency. Rate each criterion out of 10."}
]
}
Kľúčové technické obmedzenia
- Maximálna veľkosť: 20 MB na jeden obrázok
- Formáty: Iba JPG, JPEG a PNG (žiadne GIF, SVG ani WebP)
- Žiadny limit na počet obrázkov na jednu požiadavku
- Tip od xAI: pri práci s obrázkami používaj v Responses API parameter
store: false, aby sa predišlo chybám súvisiacim s ukladaním histórie
Ako napísať dobrú viacmodálnu výzvu
Platia rovnaké zásady jasnosti ako pri texte, s určitými špecifikami pre obrázky:
- Oznám obrázok: povedz modelu, čo uvidí, ešte pred samotným obrázkom
- Buď presný v úlohe: „Opíš tento obrázok“ je vágne; „Extrahuj údaje z stĺpcového grafu a vráť ich v CSV“ je presné
- Usmerňuj pozornosť: ak ťa zaujíma len časť obrázka, uveď to („Sústreď sa na pravý horný roh“)
- Špecifikuj výstupný formát: rovnako ako pri textových výzvach urči, či očakávaš JSON, zoznam alebo tabuľku
Praktické cvičenie
Urob snímku obrazovky dashboardu, grafu alebo dokumentu a pošli ju modelu Grok s konkrétnou požiadavkou. Otestuj nastavenia detail: low aj detail: high a porovnaj kvalitu a rýchlosť odpovedí.
Kľúčové poznatky
- Modely grok-4.5+ analyzujú obrázky rovnako ako text
- Parameter
detail(low, auto, high) riadi hĺbku analýzy a náklady na tokeny - Obrázky možno poskytnúť cez URL alebo base64
- Oznám obrázok, buď presný v úlohe a špecifikuj výstupný formát
- Použi
store: falsena predídenie problémov s ukladaním obrázkov - Akceptované formáty sú obmedzené na JPG, JPEG a PNG s maximálnou veľkosťou 20 MB