Analizuokite vaizdus ir nuotraukas
Šiame puslapyje
ChatGPT Vision: vaizdų supratimas
ChatGPT neapsiriboja tekstu: kiekvienas modelis priima vaizdus. Nuotraukas, ekrano kopijas, diagramas, nufotografuotus dokumentus, schemas – jis jas aprašo, skaito ir komentuoja. Vertė akivaizdi, nes ši funkcija panaikina transkripcijos etapą: rodote vaizdą užuot jį aprašę žodžiais. Ji prieinama nemokamuose ir mokamuose planuose, laikantis kiekvieno plano kvotų.
Vaizdo siuntimas ChatGPT
Naršyklėje ir darbalaukio programėlėje yra trys būdai pasiekti tą patį rezultatą: mygtukas + įvesties lauke, tada Add photos & files; vaizdo nutempimas tiesiai į įvesties lauką; arba kopijuoto vaizdo įklijavimas iš iškarpinės (Ctrl+V arba Cmd+V). Mobiliuosiuose įrenginiuose tas pats mygtukas + leidžia pridėti nuotrauką – ką tik padarytą arba senesnę; iPhone telefone ilgas paspaudimas ant + tiesiogiai atveria naujausias nuotraukas. ChatGPT priima PNG, JPEG ir neanimuotus GIF formatus, iki 20 MB vienam vaizdui.
Nebūtina siųsti tik vieno vaizdo vienu metu. Kelių vaizdų įtraukimas į vieną žinutę leidžia prašyti palyginimo, o pokalbiui vykstant galite pridėti naujų vaizdų, kad gilintumėtės arba keistumėte kampą.
Ką vizija leidžia daryti kasdieniame darbe
Pirmasis ir vertingiausias naudojimo atvejis – diagramos. Nufotografuokite kreivę iš metinės ataskaitos, valdymo skydelio ar prezentacijos ir paprašykite ChatGPT ją pakomentuoti, užuot patys bandę ją iššifruoti.
[diagramos vaizdas] „Išanalizuok šią diagramą. Kokios pagrindinės tendencijos? Ar yra anomalijų? Apibendrink išvadas 3 punktais.“
Kitas atvejis – dokumentų skaitymas: ChatGPT nuskaito vaizde esantį tekstą. „Nurašyk tekstą iš šio dokumento, tada apibendrink jį 3 sakiniais.“ Tas pats principas tinka sąskaitoms faktūroms, kur struktūruotas duomenų išgavimas sutaupo rankinį įvedimą – „Išgauk informaciją iš šios sąskaitos faktūros: tiekėjas, data, suma be PVM, PVM, suma su PVM.“ – taip pat vertimui, kai nufotografuojate ženklą ar meniu užsienio kalba.
Identifikavimas sudaro trečiąją kategoriją: ekrane rodomas klaidos pranešimas, kurio reikšmę ir sprendimą reikia išsiaiškinti; objektas, kurio pavadinimo ieškote; patiekalas, kuriam norite panašaus recepto. Galiausiai, vizija tarnauja kaip kritiškas žvilgsnis profesionaliems vaizdams.
[svetainės ekrano kopija] „Išanalizuok šį pagrindinį puslapį. Stiprybės ir silpnybės naudotojo patirties požiūriu. Pasiūlyk 3 konkrečius pagerinimus.“
Kas skiria gerą analizę nuo blogos
Rezultato kokybė pirmiausia priklauso nuo vaizdo kokybės. OpenAI rekomenduoja padidinti skaitomą tekstą, nekarpant svarbių detalių, ir vengti pasuktų ar apverstų vaizdų, taip pat panoraminių ar „žuvies akies“ vaizdų, kurie dažnai interpretuojami neteisingai. Norėdami atkreipti dėmesį į konkrečią sritį, prieš siųsdami vaizdą jį annotuokite, pavyzdžiui, naudodami telefono redagavimo įrankį.
Antrasis kintamasis – tekstas, lydimas vaizdo. Klausimas „Kas tai?“ kviečia į bendrą aprašymą, kuris dažnai būna nenaudingas. Tuo tarpu „Štai mūsų I ketvirčio pardavimų diagrama: išanalizuok tendenciją ir nustatyk probleminius mėnesius“ skatina imtis konkrečių veiksmų. Tas pats principas galioja derinant kelis vaizdus: „Štai mano konkurento logotipas [vaizdas]. Palygink jį su mūsų [vaizdas]. Kokia kiekvieno vizualinė pozicionavimo strategija?“
Žinotinos ribos
Paties OpenAI paskelbtas ribų sąrašas. Modelis nėra sukurtas interpretuoti specializuotų medicininių vaizdų, pavyzdžiui, kompiuterinės tomografijos (KT) skenų, ir neturi būti naudojamas kaip medicininė konsultacija. Jis mažiau patikimai skaito tekstą nelotyniškomis abėcėlėmis, pavyzdžiui, japonų ar korėjiečių. Jis gali klysti analizuodamas diagramas, kur kreives skiria tik spalva arba linijos stilius (vientisa, brūkšninė, taškinė), atliekant tikslaus lokalizavimo užduotis, pavyzdžiui, nuskaitant šachmatų poziciją, ir pateikia tik apytikslius skaičiavimus. Jis neskaito failo pavadinimo ar jo metaduomenų, o vaizdas prieš analizę keičia dydį.
Reikia pabrėžti vieną svarbų niuansą: skaičiams, nuskaitytiems iš vaizdo, pavyzdžiui, iš nufotografuotos lentelės ar nuskaityto PDF, tikslios reikšmės nėra išgaunamos patikimai. Kai tikslumas yra kritinis, vietoj to siųskite originalią skaičiuoklę ar tekstinį failą ir rankiniu būdu dukart patikrinkite viską, kas lemia sprendimus. Galiausiai, vaizdo įrašus galima pridėti kaip failus net ir nemokamame plane, tačiau jų analizė gali būti neišsami.
Tavo eilė
Trys bandymai. Nufotografuok arba užfiksuok ataskaitos puslapį ar sąskaitą faktūrą ir paprašyk išgauti pagrindinę informaciją į lentelę; patikrink kiekvieną sumą. Toliau, užfiksuok diagramą iš straipsnio ar valdymo skydelio ir paprašyk tendencijų analizės. Baigdamas nufotografuok bet kokį objektą ir siųsk jį du kartus: pirmą kartą be instrukcijų, antrą – su konkrečiu klausimu. Palygink abiejų atsakymų gilumą.
Oficialūs šaltiniai: ChatGPT Image Inputs FAQ (OpenAI pagalbos centras: planai, formatai, vaizdų pridėjimas, ribos) · Data analysis with ChatGPT (nuskaitytos arba vaizdu paremtos lentelės) · ChatGPT capabilities overview (vaizdų analizė)
Svarbiausi punktai
- Visi ChatGPT modeliai analizuoja nuotraukas, ekrano kopijas, diagramas ir nufotografuotus dokumentus visuose planuose
- Siųsk vaizdą naudodamas mygtuką +, tempdamas ir paleisdamas, įklijuodamas arba mobiliuosiuose įrenginiuose – iš savo nuotraukų
- Konkretus klausimas ir ryškus vaizdas yra geriau nei neaiškus „kas tai?“
- Oficialios ribos: medicininiai vaizdai, nelotyniškos abėcėlės, kreivės, skiriamos tik linijos stiliumi, skaičiavimai
- Iš vaizdo nuskaityti skaičiai nėra patikimai tikslūs: geriau naudoti originalų failą