Večmodalni pozivi
Na tej strani
Besedilo in slike v istem pozivu
Modeli Grok 4.5 in novejši lahko analizirajo slike poleg besedila. Ta večmodalna zmožnost odpira širok spekter možnosti: opisovanje slik, OCR, analizo grafikov, vizualno primerjavo in še več.
Obvladovanje večmodalnih pozivov ti omogoča, da Grok uporabljaš kot vizualnega asistenta poleg besedilnega asistenta.
Pošiljanje slike modelu Grok
Pri API-ju Responses (glavna končna točka) so slike vključene v polje input kot tipizirani objekti:
{
"model": "grok-4.5",
"input": [
{"type": "input_image", "image_url": "https://exemple.com/dashboard.png"},
{"type": "input_text", "text": "Analyze this dashboard and identify declining metrics."}
]
}
Pri API-ju Chat Completions (starejša končna točka) je struktura nekoliko drugačna:
{
"model": "grok-4.5",
"messages": [{
"role": "user",
"content": [
{"type": "image_url", "image_url": {"url": "https://exemple.com/dashboard.png", "detail": "high"}},
{"type": "text", "text": "Analyze this dashboard and identify declining metrics."}
]
}]
}
Parameter detail: nadzor natančnosti
Raven podrobnosti vpliva na globino analize in število porabljenih žetonov:
detail: low
Slika se obdela hitro pri zmanjšani ločljivosti. Ta način uporabi za:
- Razvrščanje slik (fotografija, ilustracija, diagram)
- Opis splošne vsebine
- Identifikacijo glavnih objektov
- Razvrščanje slik po kategorijah
Poraba: manj žetonov, hitrejši odziv.
detail: high
Slika se analizira v visoki ločljivosti. Ta način uporabi za:
- Branje besedila na sliki (OCR)
- Analizo podrobnosti v grafu ali diagramu
- Primerjavo natančnih vizualnih elementov
- Zaznavanje napak ali anomalij
Poraba: več žetonov (med 256 in 1.792, odvisno od velikosti), počasnejši odziv.
detail: auto
Model sam izbere ustrezno raven. To je privzeto vedenje.
Viri slik
Neposredni URL
Najpreprostejša metoda: navedi povezavo HTTPS do slike.
{"type": "input_image", "image_url": "https://exemple.com/photo.jpg"}
Base64 (data URI)
Za slike, ki niso gostovane na spletu, jih kodiraj v base64:
{"type": "input_image", "image_url": "data:image/png;base64,iVBORw0KGgo..."}
Ta metoda je uporabna za posnetke zaslona, programsko ustvarjene slike ali slike iz obdelovalnega procesa.
Praktični primeri uporabe
OCR in ekstrakcija besedila
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/facture.jpg"},
{"type": "input_text", "text": "Extract from this invoice: the invoice number, date, amount excluding tax, VAT, and amount including tax. Return the result in JSON."}
]
}
Analiza grafikov
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/graphique-ventes.png"},
{"type": "input_text", "text": "This chart shows our monthly sales over 12 months. Identify trends, peaks, and troughs. Suggest possible explanations for the variations."}
]
}
Primerjava slik
{
"input": [
{"type": "input_text", "text": "Compare these two versions of our logo:"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v1.png"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v2.png"},
{"type": "input_text", "text": "Identify the differences and recommend the best version for web use."}
]
}
Analiza uporabniškega vmesnika
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/mockup.png"},
{"type": "input_text", "text": "Evaluate this mobile interface mockup based on the following criteria: readability, visual hierarchy, accessibility, consistency. Rate each criterion out of 10."}
]
}
Ključne tehnične omejitve
- Največja velikost: 20 MB na sliko
- Formati: samo JPG, JPEG in PNG (brez GIF, SVG ali WebP)
- Brez omejitev glede števila slik na zahtevo
- Nasvet xAI: pri delu s slikami v API-ju Responses uporabi
store: false, da se izogneš napakam, povezanim s shranjevanjem zgodovine
Pisanje dobrega večmodalnega poziva
Uporabljajo se enaka načela jasnosti kot pri besedilu, s posebnostmi za slike:
- Napovej sliko: modelu povej, kaj bo videl, preden mu pošlješ sliko
- Bodi natančen pri nalogi: „Opiši to sliko” je nejasno; „Izloči podatke iz stolpčnega grafikona in jih vrni v CSV” je natančno
- Usmeri pozornost: če te zanima le del slike, to označi („Osredotoči se na zgornji desni kot”)
- Določi izhodni format: tako kot pri besedilnih pozivih navedi, ali pričakuješ JSON, seznam ali tabelo
Praktična vaja
Naredi posnetek zaslona nadzorne plošče, grafikona ali dokumenta in ga pošlji modelu Grok s specifično zahtevo. Preizkusi z detail: low in nato z detail: high ter primerjaj kakovost in hitrost odzivov.
Ključne ugotovitve
- Modeli grok-4.5+ analizirajo slike poleg besedila
- Parameter
detail(low, auto, high) nadzira globino analize in strošek žetonov - Slike lahko priskrbiš prek URL-ja ali base64
- Napovej sliko, bodi natančen pri nalogi in določi izhodni format
- Uporabi
store: false, da se izogneš težavam s shranjevanjem slik - Sprejeti formati so omejeni na JPG, JPEG in PNG, z največjo velikostjo 20 MB