Monimodaaliset kehotteet
Tällä sivulla
Teksti ja kuvat samassa kehotteessa
Grok 4.5 ja sitä uudemmat mallit osaavat analysoida kuvia tekstin lisäksi. Tämä monimodaalinen ominaisuus avaa laajan kirjon mahdollisuuksia: kuvien kuvaus, OCR (tekstintunnistus), kaavioiden analyysi, visuaalinen vertailu ja paljon muuta.
Monimodaalisten kehoteiden hallinta mahdollistaa Grokin käytön visuaalisena avustajana tekstiavustajan rinnalla.
Kuvan lähettäminen Grokille
Responses API:ssa (päätepiste) kuvat integroidaan input-kenttään tyypitetyinä objekteina:
{
"model": "grok-4.5",
"input": [
{"type": "input_image", "image_url": "https://exemple.com/dashboard.png"},
{"type": "input_text", "text": "Analyze this dashboard and identify declining metrics."}
]
}
Chat Completions API:ssa (vanhentunut päätepiste) rakenne on hieman erilainen:
{
"model": "grok-4.5",
"messages": [{
"role": "user",
"content": [
{"type": "image_url", "image_url": {"url": "https://exemple.com/dashboard.png", "detail": "high"}},
{"type": "text", "text": "Analyze this dashboard and identify declining metrics."}
]
}]
}
Detail-parametri: tarkkuuden hallinta
Tarkkuustaso vaikuttaa analyysin syvyyteen ja kulutettujen tokenien määrään:
detail: low
Kuva käsitellään nopeasti pienemmällä resoluutiolla. Käytä tätä tilaa seuraaviin tehtäviin:
- Kuvien luokittelu (valokuva, kuvitus, kaavio)
- Sisällön yleiskuvaus
- Pääobjektien tunnistaminen
- Kuvien lajittelu kategorioittain
Kulutus: vähemmän tokeneita, nopeampi vaste.
detail: high
Kuva analysoidaan korkealla resoluutiolla. Käytä tätä tilaa seuraaviin tehtäviin:
- Tekstin lukeminen kuvasta (OCR)
- Yksityiskohtien analysointi kaavioista tai diagrammeista
- Tarkkojen visuaalisten elementtien vertailu
- Vikoja tai poikkeavuuksien havaitseminen
Kulutus: enemmän tokeneita (256–1 792 koosta riippuen), hitaampi vaste.
detail: auto
Malli valitsee sopivan tason itse. Tämä on oletusarvoinen toimintatapa.
Kuvan lähteet
Suora URL-osoite
Yksinkertaisin menetelmä: anna HTTPS-linkki kuvaan.
{"type": "input_image", "image_url": "https://exemple.com/photo.jpg"}
Base64 (data URI)
Kuville, joita ei ole isännoitu verkossa, koodaa ne base64-muotoon:
{"type": "input_image", "image_url": "data:image/png;base64,iVBORw0KGgo..."}
Tämä menetelmä on hyödyllinen kuvakaappauksille, ohjelmallisesti luoduille kuville tai käsittelyputkista peräisin oleville kuville.
Käytännön sovellusesimerkkejä
OCR ja tekstin erottelu
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/facture.jpg"},
{"type": "input_text", "text": "Extract from this invoice: the invoice number, date, amount excluding tax, VAT, and amount including tax. Return the result in JSON."}
]
}
Kaavioiden analyysi
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/graphique-ventes.png"},
{"type": "input_text", "text": "This chart shows our monthly sales over 12 months. Identify trends, peaks, and troughs. Suggest possible explanations for the variations."}
]
}
Kuvien vertailu
{
"input": [
{"type": "input_text", "text": "Compare these two versions of our logo:"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v1.png"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v2.png"},
{"type": "input_text", "text": "Identify the differences and recommend the best version for web use."}
]
}
Käyttöliittymän analyysi
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/mockup.png"},
{"type": "input_text", "text": "Evaluate this mobile interface mockup based on the following criteria: readability, visual hierarchy, accessibility, consistency. Rate each criterion out of 10."}
]
}
Keskeiset tekniset rajoitukset
- Enimmäiskoko: 20 Mt per kuva
- Muodot: Vain JPG, JPEG ja PNG (ei GIF, SVG tai WebP)
- Ei rajoitusta kuvien määrälle pyyntöä kohden
- xAI-vinkki: käytä
store: false-asetusta Responses API:ssa kuvien kanssa työskennellessäsi välttääksesi historiaan tallentamisesta johtuvat virheet
Hyvän monimodaalisen kehotteen kirjoittaminen
Samat selkeysperiaatteet pätevät, mutta kuvien osalta on huomioitava erityisseikkoja:
- Ilmoita kuvasta: kerro mallille, mitä se tulee näkemään ennen kuvaa
- **Ole tehtävässä tarkka”: “Kuvaile tämä kuva” on epämääräinen; “Erota pylväskaavion tiedot ja palauta ne CSV-muodossa” on tarkka
- Ohjaa huomiota: jos vain osa kuvasta kiinnostaa, ilmoita se (“Keskity oikeaan yläkulmaan”)
- Määritä tulosteen muoto: kuten tekstikehotteissakin, määritä odotatko JSONia, listaa vai taulukkoa
Käytännön harjoitus
Ota kuvakaappaus kojelaudasta, kaaviosta tai asiakirjasta ja lähetä se Grokille tarkalla pyynnöllä. Testaa asetuksilla detail: low ja detail: high ja vertaa vastausten laatua sekä nopeutta.
Keskeiset asiat
- grok-4.5+ -mallit analysoivat kuvia tekstin lisäksi
detail-parametri (low, auto, high) ohjaa analyysin syvyyttä ja token-kustannuksia- Kuvat voidaan toimittaa URL-osoitteen tai base64-koodauksen kautta
- Ilmoita kuvasta, ole tehtävässä tarkka ja määritä tulosteen muoto
- Käytä asetusta
store: falsevälttääksesi kuvien tallennusongelmat - Hyväksytyt muodot rajoittuvat JPG-, JPEG- ja PNG-tiedostoihin, joiden enimmäiskoko on 20 Mt