Arhitektura: Snimke zaslona, radnje i petlja interakcije
Na ovoj stranici
Lekcija je ponovno napisana 3. studenog 2026. na temelju OpenAI-jevog vodiča Computer use i recepata za integraciju Computer use: Ovaj je tečaj prethodno oslanjao na Anthropicov API (
import anthropic, alatcomputer_20241022). Sada koristi OpenAI-jev Responses API i alatcomputer, s radnjama grupiranima ucomputer_call, a snimke zaslona vraćaju se putemcomputer_call_output. Uklonili smo nepotkrijepljene brojeve tokena i procjene trajanja iz prethodne verzije. Izvori: Computer use · Integration recipes.
Petlja percepcija-akcija
Cijela arhitektura Computer Use svodi se na jedan ciklus: promatraj → odluči → djeluj → promatraj. Dok ti ovaj ciklus nije jasan, tvoje će automatizacije ostati nepredvidive; čim to shvatiš, ostalo je samo tehnička izvedba.
Razlika u odnosu na Selenium skriptu leži u tome gdje se nalazi znanje. Selenium slijepo izvršava unaprijed određeni niz: klikni ovdje, pa ondje, pa upiši ovo. Computer Use odabire sljedeći korak tek nakon što vidi rezultat prethodnog. Pojavi se skočni prozor, stranica se duže učitava ili se natpis na gumbu preko noći promijeni: u sva tri slučaja model vidi stvarnu situaciju i prilagođava se, dok skripta nastavlja recitirati u prazninu.
S OpenAI-jevim alatom computer, razmjena se odvija u tri koraka: pošalješ zadatak, izvršiš radnje koje model vrati, a zatim pošalješ natrag snimku zaslona. Tvoja aplikacija drži miš i tipkovnicu; model samo donosi odluke.
Polazište: snimka zaslona
Svaki okret oslanja se na sliku trenutnog stanja zaslona. Ta snimka zaslona dolazi iz preglednika kojim upravlja Playwright—najčešći slučaj za web automatizaciju—virtualne radne površine pri automatizaciji desktop aplikacije ili Docker kontejnera koji izolira agenta. OpenAI preporučuje korištenje izoliranog preglednika ili virtualnog stroja u svim slučajevima.
import base64
def capture_screen(page) -> str:
"""Snimi zaslon pomoću Playwrighta i vrati PNG sliku kao base64."""
return base64.b64encode(page.screenshot()).decode("utf-8")
Snimka zaslona vraća se modelu kao PNG data URL. Ona se računa kao ulazna slika, pa utječe na trošak svakog okreta: veličina prozora koju snimaš stvarni je parametar dizajna.
Analiza i odluka
Model prima zadatak, povijest razgovora i najnoviju snimku zaslona. Njegov odgovor nije rečenica, već stavka computer_call, koja nosi uređeni popis radnji za izvršenje. Evo primjera iz OpenAI-jeve dokumentacije koji odabire polje za pretraživanje, a zatim upisuje riječ:
{
"type": "computer_call",
"call_id": "call_002",
"actions": [
{ "type": "click", "button": "left", "x": 405, "y": 157 },
{ "type": "type", "text": "penguin" }
],
"status": "completed"
}
Dva su detalja važna. Prvi poziv može sadržavati samo radnju screenshot: model traži da vidi zaslon prije djelovanja, a ti vraćaš snimku zaslona bez ikakvih promjena. Također, status: "completed" znači da je model završio generiranje poziva, a ne da su radnje izvršene: njihovo izvršavanje je na tebi.
Repertoar radnji
Rječnik dostupan modelu namjerno je ograničen; u kombinaciji, ovi primitivi pokrivaju većinu onoga što čovjek radi mišem i tipkovnicom.
| Radnja | Opis | Polja |
|---|---|---|
click | Klik na poziciju | x, y, button (left, right, wheel, back, forward) |
double_click | Dvostruki klik | x, y |
drag | Povlačenje duž putanje | path (popis točaka) |
move | Pomicanje pokazivača | x, y |
scroll | Pomicanje (skrolanje) | x, y, scroll_x, scroll_y |
keypress | Tipka ili kombinacija | keys (npr. ["CTRL", "A"]) |
type | Upis teksta | text |
wait | Pričekaj učitavanje stranice | — |
screenshot | Zatraži novu snimku zaslona | — |
Cjelokupni tijek
Spojeni, ovi elementi stvaraju sljedeću petlju, modeliranu prema OpenAI-jevoj dokumentaciji. Dokle god odgovor sadrži computer_call, izvršavaš njegove radnje, snimaš zaslon i vraćaš snimku u computer_call_output koji ponovno koristi isti call_id; previous_response_id povezuje svaki okret s prethodnim.
from openai import OpenAI
client = OpenAI()
def computer_use_loop(page, task: str):
"""Petlja Computer Use s alatom computer iz Responses API-ja."""
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input=task,
)
while True:
call = next(
(item for item in response.output if item.type == "computer_call"),
None,
)
if call is None:
return response.output_text # nema više zatraženih radnji: zadatak je gotov
execute_actions(page, call.actions) # tvoj handler za radnje (Lekcija 4)
screenshot = capture_screen(page)
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
previous_response_id=response.id,
input=[{
"type": "computer_call_output",
"call_id": call.call_id,
"output": {
"type": "computer_screenshot",
"image_url": f"data:image/png;base64,{screenshot}",
"detail": "original",
},
}],
)
Ova petlja još nema zaštitne mehanizme: u proizvodnji ograniči broj okreta, trajanje i trošak; zaustavi se ako poziv uključuje čekajuće sigurnosne provjere (pending_safety_checks); i provjeri stvarni rezultat umjesto da vjeruješ samo konačnoj poruci modela. To su OpenAI-jeve sigurnosne smjernice, obrađene u Lekciji 12.
Trošak jednog okreta petlje
Svaki zahtjev Responses API-ju naplaćuje ulazne i izlazne tokene, a svaka se snimka zaslona računa kao ulazna slika; hostirano okruženje može se naplaćivati odvojeno. Trošak zadatka stoga ovisi o broju okreta, veličini snimke zaslona i modelu—i raste brže od broja okreta, jer se čak i uz previous_response_id, svi ulazni tokeni iz prethodnih odgovora u lancu ponovno naplaćuju kao ulaz pri svakom zahtjevu. OpenAI nudi kalkulator troškova slika i izlaže korištenje za svaki zahtjev: izmjeri na svojim vlastitim tijekovima rada prije planiranja proračuna. Selenium skripta uvijek će učiniti istu stvar brže i jeftinije—ali morat ćeš je ponovno napisati sljedeći put kada se obrazac promijeni, što agent ne zahtijeva.
Ključne točke
- Petlja zadatak → radnje → snimka zaslona srce je Computer Usea; tvoja aplikacija izvršava radnje
- Kod OpenAI-ja, deklariraj alat s
tools=[{"type": "computer"}]u Responses API-ju computer_callnosi uređeni popis radnji (click,type,scroll,keypressitd.) za sekvencijalno izvršenje- Snimka zaslona vraća se modelu u
computer_call_outputs istimcall_id, povezana putemprevious_response_id - Svaki okret košta tokene i jednu sliku: ograniči broj okreta i mjeri prije planiranja proračuna