Što je Computer Use
Na ovoj stranici
Lekcija ažurirana 3. studenog 2026. na temelju OpenAI-jevog vodiča Computer use: ovaj tečaj sada prati alat
computeru Responses API-ju, zamjenjujući prethodni pristup putem Anthropic API-ja. Odjeljak o akterima u ekosustavu obuhvaća oba puta koja dokumentira OpenAI (izvršavanje koda, preporučeno za GPT-6 Astra, i alatcomputer). Uklonili smo neutemeljene tvrdnje o konkurentskim proizvodima. Izvor: Computer use.
Novi način interakcije sa strojevima
Godinama su jezični modeli bili isključivo tekstualni sugovornici: postavio bi im pitanje, dobio odgovor, a sve što je uključivalo stvarni svijet ostalo je na tebi. Computer Use ruši tu barijeru. Model vidi zaslon i odlučuje koje geste izvesti – klikanje, tipkanje, pomicanje, prebacivanje aplikacija – a tvoja aplikacija izvršava te radnje u njegovo ime.
Ovaj pomak ide dublje nego što se čini na prvi pogled. Tradicionalna automatizacija čvrsto se drži tehničkih sidara: CSS selektora, DOM ID-ja ili API-ja koji je dobavljač softvera odlučio izložiti. Čim tim za front-end preimenuje klasu, skripta staje i često nitko to ne primijeti dok sljedećeg dana ne stigne prazno izvješće. Uz Computer Use, daješ uputu prirodnim jezikom, a AI navigira sučeljem točno onako kako ga percipira čovjek. Gumb „Potvrdi“ pomaknut za deset centimetara ili obojan u zeleno i dalje je gumb „Potvrdi“.
Petlja koja to omogućuje
Mehanizam funkcionira u pet koraka, a njihovo ponavljanje stvara njegovu snagu:
- Tvoja aplikacija snima zaslon ili prozor preglednika
- Model analizira sliku kako bi razumio što vidi
- Donosi odluku o jednoj ili više radnji (klik, unos tipke, pomicanje)
- Tvoja aplikacija izvršava te radnje na stroju
- Nova snimka vraća se modelu i petlja se ponovno pokreće
Ova petlja percepcija-akcija srž je sustava. Razmotri uobičajeni scenarij: tvoj agent mora ispuniti kontaktni obrazac, ali se pri učitavanju preko njega pojavi banner za kolačiće. Selenium skripta koja to nije predvidjela klikne u prazninu i izbaci grešku koju je teško protumačiti. Agent s Computer Useom, međutim, vidi banner na svojoj snimci zaslona, riješi ga, napravi novu snimku i ponovno pronalazi obrazac. On ne recitira kruti plan; svakom iteracijom iznova procjenjuje situaciju.
Što zapravo automatiziramo
Primarna uporaba je end-to-end testiranje. Opisuješ putanju koju treba verificirati – „prijavi se, dodaj artikl u košaricu, idi na blagajnu“ – a agent to odigra kao korisnik, bez potrebe da održavaš biblioteku selektora koji zastarijevaju sa svakim redizajnom stranice.
Sljedeće je RPA, automatizacija ponavljajućih zadataka na softveru koji nema API-je: zastarjeli interni ERP, dobavljačev ekstranet ili poslovna aplikacija iz 2000-ih čiji je proizvođač nestao. Gdje je tehnička integracija nemoguća, agent radi kroz zaslon, točno kao zaposlenik koji je nekada ručno prepisivao podatke.
Struganje podataka (scraping) također postaje dostupno na dinamičnim stranicama koje se opiru tradicionalnim ekstraktorima, jer agent čita renderiranu stranicu, a ne sirovi HTML. Radni tokovi koji uključuju više aplikacija – dohvaćanje narudžbe iz CRM-a, unos u proračunsku tablicu, slanje potvrde e-poštom – povezuju se u jednoj sesiji. Ta ista sposobnost služi i korisničkoj podršci: umjesto da objašnjava gdje kliknuti, agent zapravo navigira sučeljem.
Akteri u 2026.
Ovaj tečaj prati OpenAI-jevu ponudu, koja u Responses API-ju otvara dva puta. Uz izvršavanje koda, model piše skriptu – primjerice Playwright ili PyAutoGUI – koju tvoje izolirano okruženje izvršava prije vraćanja rezultata i snimki zaslona; jedan poziv tada može povezati petlje i uvjete, što čini ovaj put onim koji OpenAI preporučuje za GPT-6 Astra. Uz alat computer, model vraća strukturirane radnje miša i tipkovnice koje tvoja aplikacija prevodi u geste; ovaj alat je i dalje podržan i njega ćeš koristiti ovdje jer izlaže petlju u njezinom sirovom obliku. OpenAI SDK-ovi također nude gotove pomoćnike (ComputerToolset, BrowserToolset) koji upravljaju ovom petljom umjesto tebe.
Ostali pružatelji usluga, posebice Anthropic, nude usporediv alat u svom vlastitom API-ju s drugačijim formatom razmjene: kod iz ovog tečaja ne prenosi se izravno, ali principi – petlja, upravitelj radnjama, izolacija, ljudska potvrda – ostaju isti.
Što dobivaš, što plaćaš
| Kriterij | Klasične skripte | Computer Use |
|---|---|---|
| Sučelje | API ili DOM selektori | Vizualno (snimke zaslona) |
| Krhkost | Puca ako se UI promijeni | Prilagođava se vizualno |
| Složenost | Kod specifičan za stranicu | Upute prirodnim jezikom |
| Brzina | Brzo | Sporije (petlja snimanja zaslona) |
Ovu tablicu čitaj kao kompromis, a ne kao rangiranje. Mijenjaš sirovu brzinu za otpornost i gotovo nikakve troškove održavanja. Za pedeset tisuća dnevnih izvršenja na stabilnoj stranici gdje kontroliraš HTML, skripta ostaje pravi izbor. Za putanju koja se dotjeruje svaki mjesec ili za softver bez API-ja, vaga se odlučno naginje na drugu stranu – a ovaj tečaj uči te kako rukovati tim drugim slučajem.
Ključne točke
- Computer Use omogućuje AI-u da vidi i kontrolira zaslon putem petlje snimka-radnja
- Riječ je o drugačijoj paradigmi od klasičnih skripti: otpornija, ali sporija
- Primarne uporabe uključuju E2E testiranje, RPA, struganje podataka i radne tokove s više aplikacija
- OpenAI nudi dva puta: izvršavanje koda, preporučeno za GPT-6 Astra, i alat
computer, koji se koristi u ovom tečaju