Pochopenie a analýza obrázkov
Na tejto strane
Vízia modelu Grok
Grok sa neobmedzuje len na text. Modely grok-4.5 a novšie majú vizuálne schopnosti, ktoré im umožňujú analyzovať obrázky, ktoré im poskytnete ako vstup. Môžete odoslať fotografiu, snímku obrazovky, graf alebo akýkoľvek iný vizuál a Grok vám poskytne podrobný opis, analýzu alebo kontextovú odpoveď. Posúva to hranice toho, čo mu môžete odovzdať: odfotený dashboard, pokrčená faktúra alebo návrh aplikácie sa stávajú použiteľnými dokumentmi, rovnako ako text vložený do konverzácie.
Ako odoslať obrázok
Na stránke grok.com to zaberie štyri kroky:
- Kliknite na tlačidlo prílohy vo vstupnom poli
- Vyberte obrázok zo svojho zariadenia
- Voliteľne pridajte textovú správu na usmernenie analýzy
- Odošlite svoju správu
Na mobilných zariadeniach môžete tiež odfotiť priamo kamerou telefónu a odoslať fotografiu modelu Grok na analýzu. Je to najrýchlejší spôsob, keď stojíte pred výveskou, jedálnym lístkom alebo obrazovkou, ktorú nemôžete skopírovať a vložiť.
Pre vývojárov sa obrázky odosielajú prostredníctvom zmiešaného poľa objektov vo vstupnom poli:
response = client.responses.create(
model="grok-4.5",
input=[
{"type": "input_image", "image_url": "https://exemple.com/photo.jpg"},
{"type": "input_text", "text": "Describe this image in detail"}
]
)
Obrázky môžete poskytnúť ako verejnú URL adresu alebo v kódovaní base64. Voľba záleží: verejná URL vyžaduje obrázok dostupný zvonku, čo vylučuje interné dokumenty; base64 robí požiadavku ťažšou, ale je jedinou možnosťou pre dôverný súbor.
Na čo sa môžete skutočne opýtať
Opis je najbezprostrednejším využitím. Grok podrobne rozoberie prítomné objekty, farby, kompozíciu, náladu, ako aj ľudí a ich výrazy. Stále však musíte svoju požiadavku správne rámovať, inak dostanete len plochý zoznam:
Opíš túto fotografiu podrobne.
Aký je hlavný predmet a aké sekundárne
prvky si všimneš?
Extrakcia textu, alebo OCR, je pravdepodobne najcennejším každodenným využitím. Grok číta a prepisuje text z fotografií dokumentov, snímok obrazovky, vývesiek a plagátov, reštauračných jedálnych lístkov a vizitiek: vo všetkých prípadoch, kde by ručné prepisovanie informácií trvalo niekoľko minút. Ak zároveň požiadate o formátovanie, ušetríte si druhé kolo komunikácie:
Extrahuj všetok viditeľný text na tomto obrázku
a usporiadaj ho čitateľným spôsobom.
Analýza grafov a diagramov presahuje jednoduché čítanie: Grok interpretuje štatistické grafy, vývojové diagramy a technické schémy a dokáže vám povedať, čo zobrazujú. Je to obzvlášť užitočné, keď PDF správa uzamkne svoj záver vo vnútri obrázka:
Analyzuj tento graf. Aké sú hlavné trendy
a aké závery z toho môžeme vyvodiť?
Môžete tiež odoslať niekoľko obrázkov v rámci jednej požiadavky, aby ich Grok porovnal, čím sa recenzia dizajnu zmení na konverzáciu:
Tu sú dve verzie dizajnu. Aké sú medzi nimi
hlavné rozdiely?
Nakoniec, dizajnéri a vývojári využívajú túto vizuálnu schopnosť na vlastných obrazovkách, keď žiadajú o kritiku použiteľnosti namiesto prostého opisu:
Analyzuj túto snímku obrazovky mobilnej aplikácie.
Aké problémy s použiteľnosťou vidíš?
Nastavenie úrovne detailov
Prostredníctvom API parameter detail riadi hĺbku analýzy obrázka a prijíma tri hodnoty:
- auto: model vyberie vhodnú úroveň (predvolené)
- low: rýchla, lacná analýza, ktorá spotrebuje menej tokenov
- high: podrobná, hĺbková analýza, ktorá spotrebuje viac tokenov
Toto nastavenie predstavuje kompromis medzi presnosťou a nákladmi, prípad od prípadu. Pre jednoduché OCR na faktúre stačí low, čo zníži náklady pri tisíckach dokumentov; pre jemnú umeleckú analýzu alebo hustý graf sa high vyhne chybným interpretáciám.
Obmedzenia, ktoré treba poznať
| Obmedzenie | Hodnota |
|---|---|
| Maximálna veľkosť | 20 MiB na obrázok |
| Akceptované formáty | Iba JPG, JPEG a PNG |
| Počet obrázkov | Žiadny limit na požiadavku |
| Využitie tokenov | Medzi 256 a 1 792 tokenmi v závislosti od veľkosti a úrovne detailov |
Niekoľko návykov vám pomôže vyťažiť z týchto schopností maximum. Rámujte svoju požiadavku namiesto toho, aby ste žiadali všeobecný opis: „koľko položiek je na tejto snímke obrazovky vypredaných“ je lepšie než „opíš tento obrázok“. Zmeňte veľkosť veľkých súborov, ktoré spomaľujú spracovanie bez toho, aby niečo pridali. Vždy priložte k obrázku textovú správu, pretože kontext citeľne zlepšuje relevantnosť odpovede. A riaďte sa logikou formátov: JPG pre fotografie, PNG pre snímky obrazovky a akýkoľvek vizuál obsahujúci text, keďže kompresia JPG rozmazáva jemné znaky a spôsobuje zlyhanie OCR.
Kľúčové poznatky
- Modely grok-4.5 a novšie dokážu analyzovať obrázky odoslané ako vstup
- Medzi prípady použitia patrí opis, OCR, analýza grafov a porovnávanie
- Obrázky môžete poskytnúť prostredníctvom URL alebo v base64
- Nastavenie detailu vám umožňuje kontrolovať kompromis medzi presnosťou a nákladmi
- Maximálna veľkosť je 20 MiB, iba vo formátoch JPG a PNG