Képek megértése és elemzése
Ezen az oldalon
A Grok látása
A Grok nem korlátozódik csak a szövegre. A grok-4.5 modellek és az azt követő verziók már rendelkeznek látási képességekkel, amelyek lehetővé teszik a bemenetként megadott képek elemzését. Feltölthetsz egy fotót, egy képernyőmentést, egy diagramot vagy bármilyen más vizuális tartalmat, a Grok pedig részletes leírást, elemzést vagy kontextusba ágyazott választ ad. Ez kitolja a határokat: egy lefotózott irányítópult, egy gyűrött számla vagy egy alkalmazás-mockup ugyanolyan használható dokumentummá válik, mint a beszélgetésbe illesztett szöveg.
Kép beküldése
A grok.com oldalon ez négy lépésből áll:
- Kattints a csatolás gombra a beviteli mezőben
- Válaszd ki a képet az eszközödről
- Opcionálisan adj hozzá egy szöveges üzenetet az elemzés irányításához
- Küldd el az üzenetedet
Mobilon közvetlenül a telefonod kamerájával is készíthetsz fotót, és azt elküldheted a Groknak elemzésre. Ez a leggyorsabb módszer, ha egy táblával, étlappal vagy olyan képernyővel állsz szemben, amit nem tudsz másolni és beilleszteni.
Fejlesztőként a képeket objektumok vegyes tömbjeként küldheted el a bemeneti mezőben:
response = client.responses.create(
model="grok-4.5",
input=[
{"type": "input_image", "image_url": "https://exemple.com/photo.jpg"},
{"type": "input_text", "text": "Describe this image in detail"}
]
)
A képeket nyilvános URL-ként vagy base64-kódolással is megadhatod. A választás számít: a nyilvános URL esetén a képnek kívülről is elérhetőnek kell lennie, ami kizárja a belső dokumentumokat; a base64 nehezebbé teszi a kérést, de ez az egyetlen lehetőség bizalmas fájlok esetén.
Mit kérdezhetsz valójában?
A leírás a legkézenfekvőbb felhasználási mód. A Grok részletezi a jelenlévő tárgyakat, a színeket, a kompozíciót, a hangulatot, valamint az embereket és kifejezéseiket. Mégis meg kell fogalmaznod a kérést, különben csak egy lapos leltárt kapsz:
Írd le részletesen ezt a fotót.
Mi a fő téma, és milyen másodlagos
elemeket veszel észre?
A szövegkinyerés, azaz az OCR, valószínűleg a legértékesebb mindennapi felhasználási eset. A Grok elolvassa és átírja a szöveget dokumentumok fotóiról, képernyőmentésekről, táblákról és plakátokról, éttermi étlapokról és névjegykártyákról: minden olyan esetben, ahol az információ kézi begépelése perceket venne igénybe. Ha egyszerre kéred a formázást is, megspórolsz egy második köröt:
Nyerd ki az összes látható szöveget ebből a képből,
és formázd meg olvasható módon.
A diagramok és ábrák elemzése túlmutat az olvasáson: a Grok értelmezi a statisztikai diagramokat, folyamatábrákat és műszaki rajzokat, és megmondja, mit mutatnak. Ez különösen hasznos, amikor egy PDF-jelentés egy ábrába zárja a következtetéseit:
Elemezd ezt a diagramot. Mik a fő trendek,
és milyen következtetéseket vonhatunk le?
Több képet is beküldhetsz ugyanabban a kérésben, hogy a Grok összehasonlítsa őket, ezzel a design-review-t beszélgetéssé alakítva:
Íme egy design két verziója. Mik a fő
különbségek közöttük?
Végül a designerek és fejlesztők saját képernyőiken alkalmazzák ezt a látási képességet, ahol nem leírást, hanem használhatósági kritikát kérnek:
Elemezd ezt a mobilalkalmazás képernyőmentését.
Milyen használhatósági problémákat látsz?
A részletesség szintjének beállítása
Az API-n keresztül a detail paraméter szabályozza, hogy milyen mélységben elemezze a modell a képet, és három értéket fogad el:
- auto: a modell kiválasztja a megfelelő szintet (alapértelmezett)
- low: gyors, olcsó elemzés, amely kevesebb tokent használ
- high: részletes, mélyreható elemzés, amely több tokent használ
Ez a beállítás esetről esetre a pontosság és a költség közötti egyensúlyt szabályozza. Egy számla egyszerű OCR-éhez a low elég, és ezrekszeres dokumentumfeldolgozásnál csökkenti a költséget; finom művészeti elemzéshez vagy sűrű diagramokhoz a high elkerüli a félreolvasásokat.
Ismerendő korlátok
| Korlát | Érték |
|---|---|
| Maximális méret | 20 MiB képenként |
| Elfogadott formátumok | Kizárólag JPG, JPEG és PNG |
| Képek száma | Nincs korlát kérésenként |
| Tokenhasználat | 256 és 1792 token között, a mérettől és a részletesség szintjétől függően |
Néhány szokással hozhatod ki a legtöbbet ezekből a képességekből. Fogalmazd meg pontosan a kérésedet ahelyett, hogy általános leírást kérnél: a „hány termék fogyott ki ezen a képernyőmentésen“ jobb, mint a „írd le ezt a képet“. Méretezd át a nagy fájlokat, mert ezek lassítják a feldolgozást anélkül, hogy bármit is hozzáadnának. Mindig adj hozzá szöveges üzenetet a képhez, mert a kontextus észrevehetően javítja a válasz relevanciáját. És kövesd a formátumok logikáját: JPG-t fotókhoz, PNG-t képernyőmentésekhez és minden olyan vizuális tartalomhoz, amely szöveget tartalmaz, mivel a JPG-tömörítés elmosja a finom karaktereket, és az OCR meghibásodását okozza.
Főbb megállapítások
- A grok-4.5 modellek és az azt követők képesek elemezni a bemenetként megadott képeket
- A felhasználási esetek közé tartozik a leírás, az OCR, a diagram-elemzés és az összehasonlítás
- A képeket URL-en vagy base64-kódolással is megadhatod
- A detail beállítás lehetővé teszi a pontosság és a költség közötti egyensúly szabályozását
- A maximális méret 20 MiB, kizárólag JPG és PNG formátumokban