Višemodalni upiti
Na ovoj stranici
Tekst i slike u istom upitu
Grok 4.5 i noviji modeli mogu analizirati slike uz tekst. Ova višemodalna sposobnost otvara širok spektar mogućnosti: opisivanje slika, OCR, analiza grafikona, vizualna usporedba i još mnogo toga.
Savladavanjem višemodalnih upita možeš koristiti Grok kao vizualnog asistenta, uz njegovu ulogu tekstualnog asistenta.
Slanje slike Groku
Kod Responses API-ja (glavna krajnja točka), slike se integriraju u polje input kao tipizirani objekti:
{
"model": "grok-4.5",
"input": [
{"type": "input_image", "image_url": "https://exemple.com/dashboard.png"},
{"type": "input_text", "text": "Analyze this dashboard and identify declining metrics."}
]
}
Kod Chat Completions API-ja (starija krajnja točka), struktura je nešto drugačija:
{
"model": "grok-4.5",
"messages": [{
"role": "user",
"content": [
{"type": "image_url", "image_url": {"url": "https://exemple.com/dashboard.png", "detail": "high"}},
{"type": "text", "text": "Analyze this dashboard and identify declining metrics."}
]
}]
}
Parametar detail: kontrola preciznosti
Razina detalja utječe na dubinu analize i broj utrošenih tokena:
detail: low
Slika se obrađuje brzo pri smanjenoj rezoluciji. Koristi ovaj način za:
- Klasifikaciju slika (fotografija, ilustracija, dijagram)
- Opis općeg sadržaja
- Identifikaciju glavnih objekata
- Sortiranje slika po kategorijama
Potrošnja: manje tokena, brži odgovor.
detail: high
Slika se analizira u visokoj rezoluciji. Koristi ovaj način za:
- Čitanje teksta na slici (OCR)
- Analizu detalja na grafikonu ili dijagramu
- Usporedbu preciznih vizualnih elemenata
- Otkrivanje nedostataka ili anomalija
Potrošnja: više tokena (između 256 i 1.792, ovisno o veličini), sporiji odgovor.
detail: auto
Model sam odabire odgovarajuću razinu. To je zadano ponašanje.
Izvori slika
Izravni URL
Najjednostavnija metoda: navedi HTTPS poveznicu na sliku.
{"type": "input_image", "image_url": "https://exemple.com/photo.jpg"}
Base64 (data URI)
Za slike koje nisu hostane na internetu, kodiraj ih u base64:
{"type": "input_image", "image_url": "data:image/png;base64,iVBORw0KGgo..."}
Ova je metoda korisna za snimke zaslona, programski generirane slike ili slike iz procesnog cjevovoda obrade.
Praktični slučajevi uporabe
OCR i izvlačenje teksta
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/facture.jpg"},
{"type": "input_text", "text": "Extract from this invoice: the invoice number, date, amount excluding tax, VAT, and amount including tax. Return the result in JSON."}
]
}
Analiza grafikona
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/graphique-ventes.png"},
{"type": "input_text", "text": "This chart shows our monthly sales over 12 months. Identify trends, peaks, and troughs. Suggest possible explanations for the variations."}
]
}
Usporedba slika
{
"input": [
{"type": "input_text", "text": "Compare these two versions of our logo:"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v1.png"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v2.png"},
{"type": "input_text", "text": "Identify the differences and recommend the best version for web use."}
]
}
Analiza korisničkog sučelja
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/mockup.png"},
{"type": "input_text", "text": "Evaluate this mobile interface mockup based on the following criteria: readability, visual hierarchy, accessibility, consistency. Rate each criterion out of 10."}
]
}
Ključna tehnička ograničenja
- Maksimalna veličina: 20 MB po slici
- Formati: samo JPG, JPEG i PNG (bez GIF, SVG ili WebP)
- Nema ograničenja na broj slika po zahtjevu
- xAI savjet: koristi
store: falseu Responses API-ju kada radiš sa slikama kako bi izbjegao pogreške povezane s pohranom povijesti
Pisanje dobrog višemodalnog upita
Ista načela jasnoće vrijede i ovdje, uz specifičnosti za slike:
- Najavi sliku: reci modelu što će vidjeti prije same slike
- Budi precizan oko zadatka: „Opisi ovu sliku“ je nejasno; „Izvuci podatke iz stupčastog grafikona i vrati ih u CSV formatu“ je precizno
- Usmjeri pažnju: ako te zanima samo dio slike, naznači to („Fokusiraj se na gornji desni kut“)
- Odredi format izlaza: kao i kod tekstualnih upita, navedi očekuješ li JSON, popis ili tablicu
Praktična vježba
Napravi snimku zaslona nadzorne ploče, grafikona ili dokumenta i pošalji je Groku s određenim zahtjevom. Testiraj s detail: low, a zatim s detail: high te usporedi kvalitetu i brzinu odgovora.
Ključne točke
- modeli grok-4.5+ analiziraju slike uz tekst
- parametar
detail(low, auto, high) kontrolira dubinu analize i trošak tokena - slike se mogu dostaviti putem URL-a ili base64 kodiranja
- najavi sliku, budi precizan oko zadatka i odredi format izlaza
- koristi
store: falsekako bi izbjegao probleme s pohranom slika - prihvaćeni formati ograničeni su na JPG, JPEG i PNG, s maksimalnom veličinom od 20 MB