Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Arhitektura: Posnetki zaslona, dejanja in zanka interakcije

Lekcija 2 od 14 Posodobljeno 3. november 2026 Razvijalec
Na tej strani
  1. Zanka zaznavanje-dejanje
  2. Izhodišče: posnetek zaslona
  3. Analiza in odločitev
  4. Repertoar dejanj
  5. Celoten tok
  6. Stroški kroga zanke
  7. Ključne ugotovitve

Lekcija na novo napisana 3. novembra 2026 na podlagi vodnika Computer use in receptov za integracijo Computer use integration recipes podjetja OpenAI: Ta tečaj se je prej zanašal na API Anthropic (import anthropic, orodje computer_20241022). Zdaj uporablja orodje computer iz API-ja Responses podjetja OpenAI, pri čemer so dejanja združena v computer_call, posnetki zaslona pa se vračajo prek computer_call_output. Iz prejšnje različice smo odstranili nepotrjene številke žetonov in ocene trajanja. Viri: Computer use · Integration recipes.

Zanka zaznavanje-dejanje

Celotna arhitektura uporabe računalnika (Computer Use) se свaja na en sam cikel: opazuj → odloči se → deluj → opazuj. Dokler ta cikel ni jasen v tvoji glavi, bodo tvoje avtomatizacije ostale nestanovitne; ko ti bo šlo v glavo, je vse ostalo le tehnična izvedba.

Razlika glede na skripto Selenium je v tem, kje se nahaja znanje. Selenium slepo izvnaprej določeno zaporedje: klikni tu, nato tam, nato vtipkaj to. Uporaba računalnika izbere naslednji korak šele potem, ko vidi rezultat prejšnjega. Pojavi se pojavno okno, nalaganje strani traja dlje ali se čez noč spremeni oznaka gumba: v vseh treh primerih model vidi dejansko stanje in se prilagodi, medtem ko skripta nadaljuje z recitiranjem v praznino.

Z orodjem computer podjetja OpenAI poteka izmenjava v treh korakih: pošlješ nalogo, izvršiš dejanja, ki jih vrne model, in nato pošlješ nazaj posnetek zaslona. Tvoja aplikacija drži miško in tipkovnico; model sprejema le odločitve.

Izhodišče: posnetek zaslona

Vsak krog temelji na sliki trenutnega stanja zaslona. Ta posnetek zaslona izvira iz brskalnika, ki ga nadzoruje Playwright – najpogostejši primer za avtomatizacijo spleta – virtualnega namizja pri avtomatizaciji namizne aplikacije ali zabojnika Docker, ki izolira agenta. OpenAI v vseh primerih priporoča uporabo izoliranega brskalnika ali virtualnega stroja.

import base64

def capture_screen(page) -> str:
    """Capture the screen with Playwright and return the PNG image as base64."""
    return base64.b64encode(page.screenshot()).decode("utf-8")

Posnetek zaslona se modelu vrne kot podatkovni URL PNG. Šteje kot vhodna slika, zato vpliva na stroške vsakega kroga: velikost okna, ki jo zajameš, je pravi parameter pri načrtovanju.

Analiza in odločitev

Model prejme nalogo, zgodovino pogovora in najnovejši posnetek zaslona. Njegov odgovor ni stavek, temveč element computer_call, ki nosi urejen seznam dejanj za izvršitev. Tukaj je primer iz dokumentacije OpenAI, ki izbere iskalno polje in nato vtipka besedo:

{
  "type": "computer_call",
  "call_id": "call_002",
  "actions": [
    { "type": "click", "button": "left", "x": 405, "y": 157 },
    { "type": "type", "text": "penguin" }
  ],
  "status": "completed"
}

Pomembni sta dve podrobnosti. Prvi klic lahko vsebuje le dejanje screenshot: model prosi, da vidi zaslon pred dejanjem, in ti vrneš posnetek zaslona, ne da bi karkoli spremenil. Poleg tega status: "completed" pomeni, da je model končal generiranje klica, ne pa da so bila dejanja izvedena: njihovo izvrševanje je tvoja naloga.

Repertoar dejanj

Besedišče, ki je na voljo modelu, je namerno omejeno; v kombinaciji ti primitivi pokrivajo večino tega, kar človek počne z miško in tipkovnico.

DejanjeOpisPolja
clickKlik na položajx, y, button (left, right, wheel, back, forward)
double_clickDvojni klikx, y
dragPovleci po potipath (seznam točk)
movePremik kazalcax, y
scrollPomikx, y, scroll_x, scroll_y
keypressTipka ali kombinacijakeys (npr. ["CTRL", "A"])
typeVnos besedilatext
waitPočakaj na nalaganje strani—
screenshotZahtevaj nov posnetek zaslona—

Celoten tok

Če združimo te elemente, dobimo naslednjo zanko, modelirano po dokumentaciji OpenAI. Dokler odgovor vsebuje computer_call, izvršiš njegova dejanja, zajameš zaslon in vrneš posnetek zaslona v computer_call_output, ki ponovno uporabi isti call_id; previous_response_id poveže vsak krog s prejšnjim.

from openai import OpenAI

client = OpenAI()

def computer_use_loop(page, task: str):
    """Computer Use loop with the computer tool from the Responses API."""
    response = client.responses.create(
        model="gpt-6.1-sol",
        tools=[{"type": "computer"}],
        input=task,
    )

    while True:
        call = next(
            (item for item in response.output if item.type == "computer_call"),
            None,
        )
        if call is None:
            return response.output_text  # no more actions requested: task is done

        execute_actions(page, call.actions)  # your action handler (Lesson 4)
        screenshot = capture_screen(page)

        response = client.responses.create(
            model="gpt-6.1-sol",
            tools=[{"type": "computer"}],
            previous_response_id=response.id,
            input=[{
                "type": "computer_call_output",
                "call_id": call.call_id,
                "output": {
                    "type": "computer_screenshot",
                    "image_url": f"data:image/png;base64,{screenshot}",
                    "detail": "original",
                },
            }],
        )

Ta zanka še nima varoval: v proizvodnem okolju omeji število krogov, trajanje in stroške; ustavi se, če klic vključuje čakajoče varnostne preglede (pending_safety_checks); in preveri dejanski rezultat, namesto da bi zaupal le končnemu sporočilu modela. To so varnostne smernice OpenAI, obravnavane v lekciji 12.

Stroški kroga zanke

Vsaka zahteva API-ju Responses zaračuna vhodne in izhodne žetone, vsak posnetek zaslona pa šteje kot vhodna slika; gostovano okolje se lahko zaračuna ločeno. Strošek naloge je zato odvisen od števila krogov, velikosti posnetka zaslona in modela – in raste hitreje kot število krogov, saj se tudi z previous_response_id vsi vhodni žetoni iz prejšnjih odgovorov v verigi pri vsaki zahtevi ponovno zaračunajo kot vhod. OpenAI ponuja kalkulator stroškov slik in izpostavlja uporabo za vsako zahtevo: izmeri na svojih delovnih tokovih pred proračunanjem. Skripta Selenium bo vedno opravila isto stvar hitreje in ceneje – toda naslednjič, ko se obrazec spremeni, jo boš moral prepisati, kar agent ne zahteva.

Ključne ugotovitve

  • Zanka naloga → dejanja → posnetek zaslona je srce uporabe računalnika; tvoja aplikacija izvršuje dejanja
  • Pri OpenAI orodje deklariraj z tools=[{"type": "computer"}] v API-ju Responses
  • computer_call nosi urejen seznam dejanj (click, type, scroll, keypress itd.) za zaporedno izvršitev
  • Posnetek zaslona se modelu vrne v computer_call_output z istim call_id, povezan z previous_response_id
  • Vsak krog stane žetone in sliko: omeji kroge in meri pred proračunanjem