Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Arhitektura: Snimke zaslona, radnje i petlja interakcije

Lekcija 2 od 14 Ažurirano 3. studenoga 2026. Programer
Na ovoj stranici
  1. Petlja percepcija-akcija
  2. Polazište: snimka zaslona
  3. Analiza i odluka
  4. Repertoar radnji
  5. Cjelokupni tijek
  6. Trošak jednog okreta petlje
  7. Ključne točke

Lekcija je ponovno napisana 3. studenog 2026. na temelju OpenAI-jevog vodiča Computer use i recepata za integraciju Computer use: Ovaj je tečaj prethodno oslanjao na Anthropicov API (import anthropic, alat computer_20241022). Sada koristi OpenAI-jev Responses API i alat computer, s radnjama grupiranima u computer_call, a snimke zaslona vraćaju se putem computer_call_output. Uklonili smo nepotkrijepljene brojeve tokena i procjene trajanja iz prethodne verzije. Izvori: Computer use · Integration recipes.

Petlja percepcija-akcija

Cijela arhitektura Computer Use svodi se na jedan ciklus: promatraj → odluči → djeluj → promatraj. Dok ti ovaj ciklus nije jasan, tvoje će automatizacije ostati nepredvidive; čim to shvatiš, ostalo je samo tehnička izvedba.

Razlika u odnosu na Selenium skriptu leži u tome gdje se nalazi znanje. Selenium slijepo izvršava unaprijed određeni niz: klikni ovdje, pa ondje, pa upiši ovo. Computer Use odabire sljedeći korak tek nakon što vidi rezultat prethodnog. Pojavi se skočni prozor, stranica se duže učitava ili se natpis na gumbu preko noći promijeni: u sva tri slučaja model vidi stvarnu situaciju i prilagođava se, dok skripta nastavlja recitirati u prazninu.

S OpenAI-jevim alatom computer, razmjena se odvija u tri koraka: pošalješ zadatak, izvršiš radnje koje model vrati, a zatim pošalješ natrag snimku zaslona. Tvoja aplikacija drži miš i tipkovnicu; model samo donosi odluke.

Polazište: snimka zaslona

Svaki okret oslanja se na sliku trenutnog stanja zaslona. Ta snimka zaslona dolazi iz preglednika kojim upravlja Playwright—najčešći slučaj za web automatizaciju—virtualne radne površine pri automatizaciji desktop aplikacije ili Docker kontejnera koji izolira agenta. OpenAI preporučuje korištenje izoliranog preglednika ili virtualnog stroja u svim slučajevima.

import base64

def capture_screen(page) -> str:
    """Snimi zaslon pomoću Playwrighta i vrati PNG sliku kao base64."""
    return base64.b64encode(page.screenshot()).decode("utf-8")

Snimka zaslona vraća se modelu kao PNG data URL. Ona se računa kao ulazna slika, pa utječe na trošak svakog okreta: veličina prozora koju snimaš stvarni je parametar dizajna.

Analiza i odluka

Model prima zadatak, povijest razgovora i najnoviju snimku zaslona. Njegov odgovor nije rečenica, već stavka computer_call, koja nosi uređeni popis radnji za izvršenje. Evo primjera iz OpenAI-jeve dokumentacije koji odabire polje za pretraživanje, a zatim upisuje riječ:

{
  "type": "computer_call",
  "call_id": "call_002",
  "actions": [
    { "type": "click", "button": "left", "x": 405, "y": 157 },
    { "type": "type", "text": "penguin" }
  ],
  "status": "completed"
}

Dva su detalja važna. Prvi poziv može sadržavati samo radnju screenshot: model traži da vidi zaslon prije djelovanja, a ti vraćaš snimku zaslona bez ikakvih promjena. Također, status: "completed" znači da je model završio generiranje poziva, a ne da su radnje izvršene: njihovo izvršavanje je na tebi.

Repertoar radnji

Rječnik dostupan modelu namjerno je ograničen; u kombinaciji, ovi primitivi pokrivaju većinu onoga što čovjek radi mišem i tipkovnicom.

RadnjaOpisPolja
clickKlik na pozicijux, y, button (left, right, wheel, back, forward)
double_clickDvostruki klikx, y
dragPovlačenje duž putanjepath (popis točaka)
movePomicanje pokazivačax, y
scrollPomicanje (skrolanje)x, y, scroll_x, scroll_y
keypressTipka ili kombinacijakeys (npr. ["CTRL", "A"])
typeUpis tekstatext
waitPričekaj učitavanje stranice—
screenshotZatraži novu snimku zaslona—

Cjelokupni tijek

Spojeni, ovi elementi stvaraju sljedeću petlju, modeliranu prema OpenAI-jevoj dokumentaciji. Dokle god odgovor sadrži computer_call, izvršavaš njegove radnje, snimaš zaslon i vraćaš snimku u computer_call_output koji ponovno koristi isti call_id; previous_response_id povezuje svaki okret s prethodnim.

from openai import OpenAI

client = OpenAI()

def computer_use_loop(page, task: str):
    """Petlja Computer Use s alatom computer iz Responses API-ja."""
    response = client.responses.create(
        model="gpt-6.1-sol",
        tools=[{"type": "computer"}],
        input=task,
    )

    while True:
        call = next(
            (item for item in response.output if item.type == "computer_call"),
            None,
        )
        if call is None:
            return response.output_text  # nema više zatraženih radnji: zadatak je gotov

        execute_actions(page, call.actions)  # tvoj handler za radnje (Lekcija 4)
        screenshot = capture_screen(page)

        response = client.responses.create(
            model="gpt-6.1-sol",
            tools=[{"type": "computer"}],
            previous_response_id=response.id,
            input=[{
                "type": "computer_call_output",
                "call_id": call.call_id,
                "output": {
                    "type": "computer_screenshot",
                    "image_url": f"data:image/png;base64,{screenshot}",
                    "detail": "original",
                },
            }],
        )

Ova petlja još nema zaštitne mehanizme: u proizvodnji ograniči broj okreta, trajanje i trošak; zaustavi se ako poziv uključuje čekajuće sigurnosne provjere (pending_safety_checks); i provjeri stvarni rezultat umjesto da vjeruješ samo konačnoj poruci modela. To su OpenAI-jeve sigurnosne smjernice, obrađene u Lekciji 12.

Trošak jednog okreta petlje

Svaki zahtjev Responses API-ju naplaćuje ulazne i izlazne tokene, a svaka se snimka zaslona računa kao ulazna slika; hostirano okruženje može se naplaćivati odvojeno. Trošak zadatka stoga ovisi o broju okreta, veličini snimke zaslona i modelu—i raste brže od broja okreta, jer se čak i uz previous_response_id, svi ulazni tokeni iz prethodnih odgovora u lancu ponovno naplaćuju kao ulaz pri svakom zahtjevu. OpenAI nudi kalkulator troškova slika i izlaže korištenje za svaki zahtjev: izmjeri na svojim vlastitim tijekovima rada prije planiranja proračuna. Selenium skripta uvijek će učiniti istu stvar brže i jeftinije—ali morat ćeš je ponovno napisati sljedeći put kada se obrazac promijeni, što agent ne zahtijeva.

Ključne točke

  • Petlja zadatak → radnje → snimka zaslona srce je Computer Usea; tvoja aplikacija izvršava radnje
  • Kod OpenAI-ja, deklariraj alat s tools=[{"type": "computer"}] u Responses API-ju
  • computer_call nosi uređeni popis radnji (click, type, scroll, keypress itd.) za sekvencijalno izvršenje
  • Snimka zaslona vraća se modelu u computer_call_output s istim call_id, povezana putem previous_response_id
  • Svaki okret košta tokene i jednu sliku: ograniči broj okreta i mjeri prije planiranja proračuna