Mitmemodaalsed vihjed
Sellel lehel
Tekst ja pildid samas vihjes
Grok 4.5 ja uuemad mudelid suudavad analüüsida pilte lisaks tekstile. See mitmemodaalne võimekus avab laia valiku võimalusi: pildi kirjeldamine, OCR, diagrammide analüüs, visuaalne võrdlus ja palju muud.
Mitmemodaalsete vihjete valdamine võimaldab sul kasutada Groki nii visuaalse kui ka tekstipõhise assistendina.
Pildi saatmine Grokile
Responses API (peamine lõpp-punkt) puhul integreeritakse pildid väljale input tüüpitud objektidena:
{
"model": "grok-4.5",
"input": [
{"type": "input_image", "image_url": "https://exemple.com/dashboard.png"},
{"type": "input_text", "text": "Analyze this dashboard and identify declining metrics."}
]
}
Chat Completions API (vananenud lõpp-punkt) puhul on struktuur veidi erinev:
{
"model": "grok-4.5",
"messages": [{
"role": "user",
"content": [
{"type": "image_url", "image_url": {"url": "https://exemple.com/dashboard.png", "detail": "high"}},
{"type": "text", "text": "Analyze this dashboard and identify declining metrics."}
]
}]
}
Parameeter detail: täpsuse juhtimine
Detailitase mõjutab analüüsi sügavust ja tarbitud tokenite arvu:
detail: low
Pilti töödeldakse kiiresti vähendatud eraldusvõimega. Kasuta seda režiimi, et:
- Klassifitseerida pilte (foto, illustratsioon, diagramm)
- Kirjeldada üldist sisu
- Tuvastada peamisi objekte
- Sorteerida pilte kategooriate kaupa
Tarbimine: vähem tokeneid, kiirem vastus.
detail: high
Pilti analüüsitakse suure eraldusvõimega. Kasuta seda režiimi, et:
- Lugeda teksti pildil (OCR)
- Analüüsida üksikasju diagrammil või skeemil
- Võrrelda täpseid visuaalseid elemente
- Tuvastada defekte või anomaaliaid
Tarbimine: rohkem tokeneid (sõltuvalt suurusest 256–1792), aeglasem vastus.
detail: auto
Mudel valib sobiva taseme ise. See on vaikimisi käitumine.
Pildi allikad
Otsene URL
Lihtsaim meetod: esita pildile HTTPS-link.
{"type": "input_image", "image_url": "https://exemple.com/photo.jpg"}
Base64 (andme-URI)
Piltide jaoks, mida ei majutata veebis, kodeeri need base64-formaati:
{"type": "input_image", "image_url": "data:image/png;base64,iVBORw0KGgo..."}
See meetod on kasulik ekraanitõmmiste, programmeeritavalt loodud piltide või töötlemistorustiku piltide jaoks.
Praktilised kasutusjuhtumid
OCR ja teksti eraldamine
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/facture.jpg"},
{"type": "input_text", "text": "Extract from this invoice: the invoice number, date, amount excluding tax, VAT, and amount including tax. Return the result in JSON."}
]
}
Diagrammi analüüs
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/graphique-ventes.png"},
{"type": "input_text", "text": "This chart shows our monthly sales over 12 months. Identify trends, peaks, and troughs. Suggest possible explanations for the variations."}
]
}
Piltide võrdlus
{
"input": [
{"type": "input_text", "text": "Compare these two versions of our logo:"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v1.png"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v2.png"},
{"type": "input_text", "text": "Identify the differences and recommend the best version for web use."}
]
}
Kasutajaliidese analüüs
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/mockup.png"},
{"type": "input_text", "text": "Evaluate this mobile interface mockup based on the following criteria: readability, visual hierarchy, accessibility, consistency. Rate each criterion out of 10."}
]
}
Peamised tehnilised piirangud
- Maksimaalne suurus: 20 MB pildi kohta
- Formaadid: Ainult JPG, JPEG ja PNG (ei toeta GIF, SVG ega WebP)
- Piiranguteta piltide arv päringu kohta
- xAI nõuanne: kasuta Responses API puhul piltidega töötamisel väärtust
store: false, et vältida ajaloo salvestamisega seotud vigu
Hea mitmemodaalse vihje kirjutamine
Samad selguse põhimõtted kehtivad ka siin, lisanduvad aga piltidele omased eripärad:
- Teata pildist: ütle mudelile enne pildi saatmist, mida ta näeb
- Ole ülesandes täpne: „Kirjelda seda pilti“ on ebamäärane; „Eralda tulpdiagrammist andmed ja tagasta need CSV-formaadis“ on täpne
- Suuna tähelepanu: kui sind huvitab vaid osa pildist, märgi see ära („Keskendu ülemisele paremale nurgale“)
- Määra väljundformaat: nagu tekstivihtede puhulgi, täpsusta, kas ootad JSON-i, loendit või tabelit
Praktiline harjutus
Tee ekraanitõmmis armatuurlauast, diagrammist või dokumendist ja saada see Grokile koos konkreetse päringuga. Testi režiimidega detail: low ja seejärel detail: high ning võrdle vastuste kvaliteeti ja kiirust.
Peamised punktid
- grok-4.5+ mudelid analüüsivad pilte lisaks tekstile
- Parameeter
detail(low, auto, high) kontrollib analüüsi sügavust ja tokenite kulu - Pilte saab esitada URL-i või base64 kaudu
- Teata pildist, ole ülesandes täpne ja määra väljundformaat
- Kasuta salvestusprobleemide vältimiseks piltidega töötamisel väärtust
store: false - Aktsepteeritud formaadid on piiratud JPG, JPEG ja PNG-ga, maksimaalne suurus on 20 MB