Suprasti ir analizuoti vaizdus
Šiame puslapyje
Grok rega
Grok neapsiriboja tekstu. „grok-4.5“ ir vėlesni modeliai turi regos galimybes, leidžiančias jiems analizuoti jūsų pateiktus vaizdus. Galite įkelti nuotrauką, ekrano kopiją, diagramą ar bet kokį kitą vizualinį elementą, o „Grok“ pateiks išsamų aprašymą, analizę arba kontekstinį atsakymą. Tai išplečia jūsų galimybes: nufotografuota prietaisų skydelis, suglamžyta sąskaita faktūra ar programėlės maketas tampa naudojamais dokumentais, lygiai taip pat, kaip ir pokalbiui įklijuotas tekstas.
Kaip įkelti vaizdą
Svetainėje grok.com tai užtrunka keturis žingsnius:
- Spustelėkite priedo mygtuką įvesties lauke
- Pasirinkite vaizdą iš savo įrenginio
- Papildomai pridėkite tekstinį pranešimą, kad nukreiptumėte analizę
- Išsiųskite savo žinutę
Mobiliuosiuose įrenginiuose taip pat galite tiesiogiai nufotografuoti telefonu ir išsiųsti nuotrauką „Grok“ analizei. Tai greičiausias būdas, kai matote ženklą, meniu ar ekraną, kurio negalite nukopijuoti ir įklijuoti.
Kūrėjai vaizdus siunčia naudodami mišrų objektų masyvą įvesties lauke:
response = client.responses.create(
model="grok-4.5",
input=[
{"type": "input_image", "image_url": "https://exemple.com/photo.jpg"},
{"type": "input_text", "text": "Describe this image in detail"}
]
)
Vaizdus galite pateikti kaip viešą URL nuorodą arba užkoduotus „base64“ formatu. Šis pasirinkimas svarbus: vieša URL nuoroda reikalauja, kad vaizdas būtų pasiekiamas iš išorės, todėl vidaus dokumentai netinka; „base64“ padidina užklausos dydį, tačiau tai vienintelė galimybė dirbti su konfidencialiais failais.
Ką iš tikrųjų galite klausti
Aprašymas yra pats akivaizdžiausias naudojimo būdas. „Grok“ išsamiai apibūdina esamus objektus, spalvas, kompoziciją, nuotaiką, žmones ir jų išraiškas. Visgi turite suformuluoti užklausą, kitaip gausite tik sausą inventorių:
Išsamiai aprašykite šią nuotrauką.
Kas yra pagrindinis objektas ir kokius antrinius
elementus pastebite?
Teksto išgavimas arba OCR (optinis simbolių atpažinimas) yra tikriausiai vertingiausias kasdienis naudojimo atvejis. „Grok“ nuskaitys ir prepers tekstą iš dokumentų nuotraukų, ekrano kopijų, ženklų, plakatų, restoranų meniu ir vizitinių kortelių: visais tais atvejais, kai informacijos rankinis perrašymas užtruktų kelias minutes. Kartu paprašius suformatuoti tekstą, sutaupysite antrąjį užklausos ratą:
Išgaukite visą matomą tekstą šiame vaizde
ir išdėstykite jį lengvai skaitomu būdu.
Diagramų ir schemų analizė eina toliau nei paprastas skaitymas: „Grok“ interpretuoja statistines diagramas, blokines schemas ir techninius brėžinius bei gali paaiškinti, ką jie rodo. Tai ypač naudinga, kai PDF ataskaitoje išvada paslėpta paveikslėlyje:
Išanalizuokite šią diagramą. Kokios yra pagrindinės tendencijos
ir kokias išvadas galime daryti?
Tame pačiame prašyme taip pat galite pateikti kelis vaizdus, kad „Grok“ galėtų juos palyginti – taip dizaino peržiūra virsta pokalbiu:
Štai dvi dizaino versijos. Kokie yra pagrindiniai
skirtumai tarp jų?
Galiausiai dizaineriai ir kūrėjai naudoja šią regos funkciją savo ekranams, prašydami ne aprašymo, o naudojamumo kritikos:
Išanalizuokite šią mobiliosios programėlės ekrano kopiją.
Kokias naudojumo problemas matote?
Nustatykite detalumo lygį
Naudojant API, parametras detail valdo, kokiu gyliu vaizdas bus analizuojamas, ir priima tris reikšmes:
- auto: modelis pasirenka tinkamą lygį (numatytoji reikšmė)
- low: greita, nebrangi analizė, naudojanti mažiau žetonų
- high: išsami, giluminė analizė, naudojanti daugiau žetonų
Šis nustatymas leidžia balansuoti tarp tikslumo ir kainos kiekvienu atveju atskirai. Paprastam sąskaitos faktūros OCR nuskaitymui pakanka low, kas sumažina išlaidas apdorojant tūkstančius dokumentų; o atliekant tikslią meninę analizę ar nagrinėjant sudėtingą diagramą, high padeda išvengti klaidingų nuskaitymų.
Žinotini apribojimai
| Apribojimas | Reikšmė |
|---|---|
| Maksimalus dydis | 20 MiB vienam vaizdui |
| Priimami formatai | Tik JPG, JPEG ir PNG |
| Vaizdų skaičius | Neribota vienam prašymui |
| Žetonų naudojimas | Nuo 256 iki 1 792 žetonų, priklausomai nuo dydžio ir detalumo lygio |
Keli įpročiai padės išgauti maksimalią naudą iš šių galimybių. Suformuluokite savo prašymą, užuot klausę bendro aprašymo: „kiek prekių šiame ekrano kopijoje nėra sandėlyje“ yra geriau nei „aprašykite šį vaizdą“. Sumažinkite didelių failų dydį, nes jie lėtina apdorojimą nieko nepridėdami. Visada prie vaizdo pridėkite tekstinį pranešimą, nes kontekstas pastebimai pagerina atsakymo aktualumą. Ir laikykitės formatų logikos: JPG naudokite nuotraukoms, o PNG – ekrano kopijoms ir bet kokiems vaizdams, kuriuose yra teksto, nes JPG glaudinimas išplonia smulkias raides ir gali sugadinti OCR nuskaitymą.
Svarbiausi punktai
- „grok-4.5“ ir vėlesni modeliai gali analizuoti kaip įvestį pateiktus vaizdus
- Naudojimo atvejai apima aprašymą, OCR, diagramų analizę ir palyginimą
- Vaizdus galite pateikti URL nuoroda arba „base64“ formatu
- Detalumo nustatymas leidžia valdyti balansą tarp tikslumo ir kainos
- Maksimalus dydis yra 20 MiB, palaikomi tik JPG ir PNG formatai