Piltide ja fotode analüüsimine
Sellel lehel
ChatGPT Vision: piltide mõistmine
ChatGPT ei piirdu tekstiga: iga mudel võtab vastu pilte. Fotod, ekraanitõmmised, diagrammid, pildistatud dokumendid, skeemid – mudel kirjeldab neid, loeb ja kommenteerib. Väärtus on kohene, sest see funktsioon kõrvaldab ümberkirjutamise etapi: näitad asemel, et kirjeldaksid. See on saadaval nii tasuta kui ka tasulistes pakettides, vastavalt iga plaani kvootidele.
Pildi saatmine ChatGPT-ile
Veebis ja töölauarakenduses viivad kolm teed sama tulemuseni: sisendvälja nupp +, seejärel Add photos & files; pildi lohistamine sisendväljale; või lõikelaualt kopeeritud pildi kleepimine (Ctrl+V või Cmd+V). Mobiilis lisab sama nupp + foto, kas just tehtud või varasema; iPhone’is avab pikk vajutus nupule + otse viimased fotod. ChatGPT aktsepteerib PNG, JPEG ja animeerimata GIF vorminguid, kuni 20 MB pildi kohta.
Sa ei pea saatma korraga ainult ühte pilti. Mitme visuaali lisamine ühte sõnumisse võimaldab küsida võrdlust ning vestluse edenedes saad lisada uusi pilte, et süveneda või nurka muuta.
Mida võimaldab vision igapäevatöös
Esimene ja väärtuslikum kasutusjuhtum on diagrammid. Tee ekraanitõmmis aastaruandi kõverast, juhtpaneelist või esitlusest ja lase ChatGPT-l seda kommenteerida, selle asemel et ise lahti mõtestada.
[diagrammi pilt] “Analüüsi seda diagrammi. Millised on peamised trendid? Kas on mingeid anomaaliaid? Võta järeldused kokku 3 punktis.”
Järgmisena tuleb dokumentide lugemine: ChatGPT loeb pildil olevat teksti. “Kirjuta selle dokumendi tekst ümber ja võta see siis kokku 3 lauses.” Sama lähenemine toimib arvete puhul, kus struktureeritud ekstraheerimine säästab käsitsi sisestamist – “Ekstraheeri sellest arvest teave: müüja, kuupäev, summa ilma käibemaksuta, käibemaks, summa koos käibemaksuga” – ning tõlkimisel, kui pildistad võõrkeelset silti või menüüd.
Kolmas kategooria on identifitseerimine: ekraanil kuvatav veateade, mille tähendust ja lahendust vajad; ese, mille nime otsid; roog, millele soovid sarnast retsepti. Lõpuks toimib vision professionaalsete visuaalide kriitilise pilguna.
[veebilehe ekraanitõmmis] “Analüüsi seda avalehte. Tugevused ja nõrkused kasutajakogemuse seisukohalt. Paku välja 3 konkreetset parandust.”
Mis eristab head analüüsi halvast
Tulemuse kvaliteet sõltub esmalt pildi kvaliteedist. OpenAI soovitab lugemiseks mõeldud teksti suurendada, lõikamata olulisi detaile, ning vältida pööratud või tagurpidi pilte, samuti panoraam- või “kalasilm” vaateid, mida tõlgendatakse sageli valesti. Konkreetsele alale tähelepanu juhtimiseks anna pildile enne saatmist märkmeid, kasutades näiteks telefoni redigeerimistööriista.
Teine muutuja on pildile lisatud tekst. “Mis see on?” kutsub esile üldise kirjelduse, mis on sageli kasutu. “Siin on meie Q1 müügidiagramm: analüüsi trendi ja tuvasta problemaatilised kuud” kutsub esile tegevussuunatud vastuse. Põhimõte kehtib ka mitme visuaali kombineerimisel: “Siin on mu konkurendi logo [pilt]. Võrdle seda omaga [pilt]. Milline on kummagi visuaalne positsioneerimine?”
Piirangud, mida tasub teada
OpenAI avaldab ise piirangute nimekirja. Mudel ei ole loodud tõlgendama spetsialiseeritud meditsiinilisi pilte, nagu CT-skannid, ja see ei tohi asendada meditsiinilist nõuannet. See loeb mitte-ladina tähestikes (nt jaapani või korea) teksti vähem usaldusväärselt. See võib teha vigu diagrammides, kus kõveraid eristab ainult värv või joone stiil (täisjoon, katkendjoon, punktiir), täpsetes lokaliseerimisülesannetes, nagu maleseisu lugemine, ning annab ainult ligikaudseid loendusi. See ei loe failinime ega metaandmeid ja pilti muudetakse enne analüüsi suurust.
Üks hoiatus väärib rõhutamist: pildilt loetud numbrite, nagu pildistatud tabel või skaneeritud PDF, puhul ei ekstraheerita täpseid väärtusi usaldusväärselt. Kui täpsus on oluline, saada originaalne arvutustabel või tekstifail ja kontrolli otsuseid mõjutavaid andmeid käsitsi üle. Videoid saab lõpuks lisada failidena isegi tasuta paketis, kuid nende analüüs võib olla osaline.
Sinu kord
Kolm katset. Pildista või tee ekraanitõmmis aruande lehest või arvest ja küsi põhiteabe ekstraheerimist tabelisse; kontrolli iga summat üle. Seejärel tee ekraanitõmmis diagrammist artiklist või juhtpaneelilt ja küsi trendianalüüsi. Lõpeta mis tahes eseme fotoga, saates selle kaks korda: kord ilma juhisteta, kord konkreetse küsimusega. Võrdle kahe vastuse sügavust.
Ametlikud allikad: ChatGPT Image Inputs FAQ (OpenAI abikeskus: paketid, vormingud, piltide lisamine, piirangud) · Data analysis with ChatGPT (skaneeritud või pildipõhised tabelid) · ChatGPT capabilities overview (piltide analüüs)
Peamised punktid
- Kõik ChatGPT mudelid analüüsivad fotosid, ekraanitõmmiseid, diagramme ja pildistatud dokumente kõigis pakettides
- Saada pilt nupu +, lohistamise, kleepimise või mobiilis oma fotode kaudu
- Konkreetne küsimus ja terav pilt löövad lahja “mis see on?”
- Ametlikud piirangud: meditsiinilised pildid, mitte-ladina tähestikud, ainult stiili järgi eristatavad kõverad, loendused
- Pildilt loetud numbrid ei ole usaldusväärselt täpsed: eelista originaalfaili