Mis on arvuti kasutamine
Sellel lehel
Tund uuendatud 3. novembril 2026 OpenAI Computer use juhendi põhjal: see kursus järgib nüüd Responses API
computertööriista, asendades varasemat Anthropic API lähenemist. Ökosüsteemi osalejaid käsitlev jaotis katab mõlemad OpenAI dokumenteeritud teed (koodi täitmine, mida soovitatakse GPT-6 Astra jaoks, jacomputertööriist). Oleme eemaldanud kontrollimata väited konkureerivate toodete kohta. Allikas: Computer use.
Uus viis masinatega suhtlemiseks
Aastaid olid keelemudelid puhtalt tekstipõhised vestluskaaslased: sina esitasid küsimuse, said vastuse ja kõik, mis puudutas reaalset maailma, jäi sinu hooleks. Arvuti kasutamine murdis selle barjääri. Mudel näeb ekraani ja otsustab, milliseid žeste sooritada – klõpsamine, trükkimine, kerimine, rakenduste vahetamine – ning sinu rakendus täidab need toimingud tema eest.
See muutus on sügavam, kui esmapilgul tundub. Traditsiooniline automatiseerimine tugineb tehnilistele ankrutele: CSS-selektorile, DOM-ID-le või API-le, mille tarkvaratootja on otsustanud avalikustada. Päeval, kui front-end’i meeskond nimetab klassi ümber, peatub skript ja sageli ei märka seda keegi enne, kui järgmise päeva aruanne saabub tühjana. Arvuti kasutamise korral annad sa juhise loomulikus keeles ja tehisintellekt liigutab liideses täpselt nii, nagu inimene seda tajub. „Esita“ nupp, mida on nihutatud kolm tolli või värvitud roheliseks, jääb endiselt „Esita“ nupuks.
Tsükkel, mis seda võimaldab
Mehhanism töötab viies etapis ja just nende kordumine annab süsteemile jõu:
- Sinu rakendus jäädvustab ekraani või brauseriakna
- Mudel analüüsib pilti, et mõista, mida ta näeb
- See otsustab ühe või mitme toimingu üle (klõps, klahvivajutus, kerimine)
- Sinu rakendus täidab need toimingud masinas
- Mudelile saadetakse uus jäädvustus ja tsükkel algab otsast peale
See taju-tegevuse tsükkel on süsteemi tuum. Võtame levinud stsenaariumi: sinu agent peab täitma kontaktivormi, kuid laadimisel hüppab selle ette küpsiste bänner. Seleniumi skript, mis seda ette ei näinud, klõpsab tühja kohta ja viskab vea, mida on raske tõlgendada. Arvuti kasutamise agent aga näeb bännerit oma ekraanitõmmisel, tegeleb sellega, teeb uue jäädvustuse ja leiab vormi uuesti üles. See ei loe ette jäika plaani, vaid hindab olukorda igal iteratsioonil uuesti.
Mida me tegelikult automatiseerime
Peamine kasutusjuhtum on otsast-otsani (end-to-end) testimine. Sa kirjeldad kontrollitavat teekonda – „logi sisse, lisa ostukorvi ese, mine kassasse“ – ja agent mängib selle läbi nagu kasutaja, ilma et peaksid ülal pidama selektorite kogu, mis aegub iga saidi ümberkujundusega.
Järgmisena tuleb RPA ehk korduvate ülesannete automatiseerimine tarkvaras, millel puuduvad API-d: vana sisemine ERP, tarnija ekstranett või 2000. aastate äpirakendus, mille tootja on kadunud. Kui tehniline integratsioon on võimatu, töötab agent läbi ekraani, täpselt nagu töötaja, kes varem andmeid käsitsi kopeeris.
Ka veebikaapimine muutub dünaamilistel saitidel ligipääsetavaks, kuna agent loeb renderdatud lehte, mitte toorest HTML-i. Mitme rakendusega töövoogud – tellimuse toomine CRM-ist, selle sisestamine arvutustabelisse, kinnituskirja saatmine – ahelduvad ühe sessiooni jooksul. Sama võimekus teenindab kasutajatuge: selgitamise asemel, kuhu klõpsata, liigub agent tegelikult liideses ringi.
Osalejad 2026. aastal
See kursus järgib OpenAI pakkumist, mis avab Responses API-s kaks teed. Koodi täitmisega kirjutab mudel skripti – näiteks Playwrighti või PyAutoGUI –, mille sinu isoleeritud keskkond täidab enne tulemuse ja ekraanitõmmiste tagastamist; üks kõne saab seejärel aheldada tsükleid ja tingimusi, mistõttu on see tee, mida OpenAI soovitab GPT-6 Astra jaoks. computer tööriistaga tagastab mudel struktureeritud hiire ja klaviatuuri toimingud, mille sinu rakendus teisendab žestideks; seda tööriista toetatakse endiselt ja just seda sa siin kasutad, kuna see paljastab tsükli selle toorel kujul. OpenAI SDK-d pakuvad ka valmis abivahendeid (ComputerToolset, BrowserToolset), mis haldavad seda tsüklit sinu eest.
Teised pakkujad, eriti Anthropic, pakuvad oma API-s sarnast tööriista erineva vahetusvormaatiga: selle kursuse kood ei kandu otse üle, kuid põhimõtted – tsükkel, toiminguhaldur, isolatsioon, inimese kinnitus – jäävad samaks.
Mida sa võidad, mida sa maksad
| Kriteerium | Klassikalised skriptid | Arvuti kasutamine |
|---|---|---|
| Liides | API või DOM-selektorid | Visuaalne (ekraanitõmmised) |
| Habras | Katkeb, kui kasutajaliides muutub | Kohandub visuaalselt |
| keerukus | Saidispetsiifiline kood | Juhised loomulikus keeles |
| Kiirus | Kiire | Aeglasem (ekraanitõmmiste tsükkel) |
Loe seda tabelit kompromissina, mitte edetabelina. Sa vahetad toore kiiruse vastupidavuse ja peaaegu olematute hoolduskulude vastu. Viiekümne tuhande päevase käivituse korral stabiilsel lehel, kus sa kontrollid HTML-i, jääb skript õigeks valikuks. Teekonna puhul, mida kohendatakse iga kuu, või tarkvara puhul, millel puudub API, kallutab kaalukauss otsustavalt teisele poole – ja see kursus õpetab sind just seda teist juhtumit käsitlema.
Peamised punktid
- Arvuti kasutamine võimaldab tehisintellektil ekraani näha ja juhtida läbi ekraanitõmmise ja toimingu tsükli
- See on klassikalistest skriptidest erinev paradigma: vastupidavam, kuid aeglasem
- Peamised kasutusjuhtumid hõlmavad E2E-testimist, RPA-d, veebikaapimist ja mitme rakendusega töövooge
- OpenAI pakub kahte teed: koodi täitmine, mida soovitatakse GPT-6 Astra jaoks, ja
computertööriist, mida selles kursuses kasutatakse