Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Mitmemodaalsed vihjed

Õppetund 9 / 14 Värskendatud 30. juuli 2026 Algajatele
Sellel lehel
  1. Tekst ja pildid samas vihjes
  2. Pildi saatmine Grokile
  3. Parameeter detail: täpsuse juhtimine
  4. Pildi allikad
  5. Praktilised kasutusjuhtumid
  6. Peamised tehnilised piirangud
  7. Hea mitmemodaalse vihje kirjutamine
  8. Praktiline harjutus
  9. Peamised punktid

Tekst ja pildid samas vihjes

Grok 4.5 ja uuemad mudelid suudavad analüüsida pilte lisaks tekstile. See mitmemodaalne võimekus avab laia valiku võimalusi: pildi kirjeldamine, OCR, diagrammide analüüs, visuaalne võrdlus ja palju muud.

Mitmemodaalsete vihjete valdamine võimaldab sul kasutada Groki nii visuaalse kui ka tekstipõhise assistendina.

Pildi saatmine Grokile

Responses API (peamine lõpp-punkt) puhul integreeritakse pildid väljale input tüüpitud objektidena:

{
  "model": "grok-4.5",
  "input": [
    {"type": "input_image", "image_url": "https://exemple.com/dashboard.png"},
    {"type": "input_text", "text": "Analyze this dashboard and identify declining metrics."}
  ]
}

Chat Completions API (vananenud lõpp-punkt) puhul on struktuur veidi erinev:

{
  "model": "grok-4.5",
  "messages": [{
    "role": "user",
    "content": [
      {"type": "image_url", "image_url": {"url": "https://exemple.com/dashboard.png", "detail": "high"}},
      {"type": "text", "text": "Analyze this dashboard and identify declining metrics."}
    ]
  }]
}

Parameeter detail: täpsuse juhtimine

Detailitase mõjutab analüüsi sügavust ja tarbitud tokenite arvu:

detail: low

Pilti töödeldakse kiiresti vähendatud eraldusvõimega. Kasuta seda režiimi, et:

  • Klassifitseerida pilte (foto, illustratsioon, diagramm)
  • Kirjeldada üldist sisu
  • Tuvastada peamisi objekte
  • Sorteerida pilte kategooriate kaupa

Tarbimine: vähem tokeneid, kiirem vastus.

detail: high

Pilti analüüsitakse suure eraldusvõimega. Kasuta seda režiimi, et:

  • Lugeda teksti pildil (OCR)
  • Analüüsida üksikasju diagrammil või skeemil
  • Võrrelda täpseid visuaalseid elemente
  • Tuvastada defekte või anomaaliaid

Tarbimine: rohkem tokeneid (sõltuvalt suurusest 256–1792), aeglasem vastus.

detail: auto

Mudel valib sobiva taseme ise. See on vaikimisi käitumine.

Pildi allikad

Otsene URL

Lihtsaim meetod: esita pildile HTTPS-link.

{"type": "input_image", "image_url": "https://exemple.com/photo.jpg"}

Base64 (andme-URI)

Piltide jaoks, mida ei majutata veebis, kodeeri need base64-formaati:

{"type": "input_image", "image_url": "data:image/png;base64,iVBORw0KGgo..."}

See meetod on kasulik ekraanitõmmiste, programmeeritavalt loodud piltide või töötlemistorustiku piltide jaoks.

Praktilised kasutusjuhtumid

OCR ja teksti eraldamine

{
  "input": [
    {"type": "input_image", "image_url": "https://exemple.com/facture.jpg"},
    {"type": "input_text", "text": "Extract from this invoice: the invoice number, date, amount excluding tax, VAT, and amount including tax. Return the result in JSON."}
  ]
}

Diagrammi analüüs

{
  "input": [
    {"type": "input_image", "image_url": "https://exemple.com/graphique-ventes.png"},
    {"type": "input_text", "text": "This chart shows our monthly sales over 12 months. Identify trends, peaks, and troughs. Suggest possible explanations for the variations."}
  ]
}

Piltide võrdlus

{
  "input": [
    {"type": "input_text", "text": "Compare these two versions of our logo:"},
    {"type": "input_image", "image_url": "https://exemple.com/logo-v1.png"},
    {"type": "input_image", "image_url": "https://exemple.com/logo-v2.png"},
    {"type": "input_text", "text": "Identify the differences and recommend the best version for web use."}
  ]
}

Kasutajaliidese analüüs

{
  "input": [
    {"type": "input_image", "image_url": "https://exemple.com/mockup.png"},
    {"type": "input_text", "text": "Evaluate this mobile interface mockup based on the following criteria: readability, visual hierarchy, accessibility, consistency. Rate each criterion out of 10."}
  ]
}

Peamised tehnilised piirangud

  • Maksimaalne suurus: 20 MB pildi kohta
  • Formaadid: Ainult JPG, JPEG ja PNG (ei toeta GIF, SVG ega WebP)
  • Piiranguteta piltide arv päringu kohta
  • xAI nõuanne: kasuta Responses API puhul piltidega töötamisel väärtust store: false, et vältida ajaloo salvestamisega seotud vigu

Hea mitmemodaalse vihje kirjutamine

Samad selguse põhimõtted kehtivad ka siin, lisanduvad aga piltidele omased eripärad:

  • Teata pildist: ütle mudelile enne pildi saatmist, mida ta näeb
  • Ole ülesandes täpne: „Kirjelda seda pilti“ on ebamäärane; „Eralda tulpdiagrammist andmed ja tagasta need CSV-formaadis“ on täpne
  • Suuna tähelepanu: kui sind huvitab vaid osa pildist, märgi see ära („Keskendu ülemisele paremale nurgale“)
  • Määra väljundformaat: nagu tekstivihtede puhulgi, täpsusta, kas ootad JSON-i, loendit või tabelit

Praktiline harjutus

Tee ekraanitõmmis armatuurlauast, diagrammist või dokumendist ja saada see Grokile koos konkreetse päringuga. Testi režiimidega detail: low ja seejärel detail: high ning võrdle vastuste kvaliteeti ja kiirust.

Peamised punktid

  • grok-4.5+ mudelid analüüsivad pilte lisaks tekstile
  • Parameeter detail (low, auto, high) kontrollib analüüsi sügavust ja tokenite kulu
  • Pilte saab esitada URL-i või base64 kaudu
  • Teata pildist, ole ülesandes täpne ja määra väljundformaat
  • Kasuta salvestusprobleemide vältimiseks piltidega töötamisel väärtust store: false
  • Aktsepteeritud formaadid on piiratud JPG, JPEG ja PNG-ga, maksimaalne suurus on 20 MB