Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Architektúra: Képernyőképek, műveletek és az interakciós ciklus

2. lecke 14 közül Frissítve 2026. november 3. Fejlesztő
Ezen az oldalon
  1. Az észlelés-cselekvés hurok
  2. A kiindulópont: a képernyőkép
  3. Elemzés és döntés
  4. A műveletek tára
  5. A teljes folyamat
  6. Egy ciklus költsége
  7. Főbb megállapítások

A leckét 2026. november 3-án írtuk át az OpenAI Computer use útmutatója és a Computer use integration recipes alapján: Ez a tanfolyam korábban az Anthropic API-jára támaszkodott (import anthropic, computer_20241022 eszköz). Most az OpenAI Responses API computer eszközét használjuk, ahol a műveletek egy computer_call elemben csoportosulnak, a képernyőképek pedig a computer_call_output révén térnek vissza. Eltávolítottuk az előző verzió forrásolatlan tokenszámlálását és időtartam-becsléseit. Források: Computer use · Integration recipes.

Az észlelés-cselekvés hurok

A Computer Use teljes architektúrája egyetlen ciklusra vezethető vissza: észlelés → döntés → cselekvés → észlelés. Amíg ez a ciklus nem tisztázódik benned, az automatizálásaid kiszámíthatatlanok maradnak; ha viszont egyszer beindul, a többi már csak technikai részletkérdés.

A különbség egy Selenium szkripthez képest abban rejlik, hol lakozik a tudás. A Selenium vakon végrehajt egy előre meghatározott sorozatot: kattints ide, majd oda, majd gépeld be ezt. A Computer Use csak azután választja ki a következő lépést, hogy látta az előző eredményét. Felugrik egy ablak, tovább tart egy oldal betöltése, vagy egyik napról a másikra megváltozik egy gomb felirata: mindhárom esetben a modell látja a tényleges helyzetet és alkalmazkodik, míg a szkript továbbra is a semmibe szaval.

Az OpenAI computer eszközével a kommunikáció három lépésben zajlik: elküldöd a feladatot, végrehajtod a modell által visszaadott műveleteket, majd visszaküldesz egy képernyőképet. Az alkalmazásod fogja az egeret és a billentyűzetet; a modell csak a döntéseket hozza meg.

A kiindulópont: a képernyőkép

Minden kör a képernyő aktuális állapotáról készült képen alapul. Ez a képernyőkép egy Playwright által vezérelt böngészőből származik – ez a leggyakoribb eset a webes automatizálásnál –, egy virtuális asztalról asztali alkalmazások automatizálásakor, vagy egy Docker konténerből, amely elszigeteli az ágenst. Az OpenAI minden esetben izolált böngésző vagy virtuális gép használatát javasolja.

import base64

def capture_screen(page) -> str:
    """Capture the screen with Playwright and return the PNG image as base64."""
    return base64.b64encode(page.screenshot()).decode("utf-8")

A képernyőkép PNG adat URL-ként kerül vissza a modellhez. Ez képbemenetnek számít, így befolyásolja minden kör költségét: a rögzített ablakméret valós tervezési paraméter.

Elemzés és döntés

A modell megkapja a feladatot, a beszélgetés előzményeit és a legfrissebb képernyőképet. A válasza nem egy mondat, hanem egy computer_call elem, amely a végrehajtandó műveletek sorrendezett listáját tartalmazza. Íme egy példa az OpenAI dokumentációjából, amely kiválaszt egy keresőmezőt, majd beír egy szót:

{
  "type": "computer_call",
  "call_id": "call_002",
  "actions": [
    { "type": "click", "button": "left", "x": 405, "y": 157 },
    { "type": "type", "text": "penguin" }
  ],
  "status": "completed"
}

Két részlet számít. Az első hívás tartalmazhat csak egy screenshot műveletet: ekkor a modell azt kéri, lássa a képernyőt cselekvés előtt, és te egy képernyőképet küldesz vissza változtatás nélkül. Továbbá a status: "completed" azt jelenti, hogy a modell befejezte a hívás generálását, nem pedig azt, hogy a műveleteket végrehajtották: azok végrehajtása rajtad múlik.

A műveletek tára

A modell rendelkezésére álló szókincs szándékosan korlátozott; kombinálva ezek az alapvető elemek lefedik az emberek egérrel és billentyűzettel végzett tevékenységeinek nagy részét.

MűveletLeírásMezők
clickKattintás egy pozíciórax, y, button (left, right, wheel, back, forward)
double_clickDupla kattintásx, y
dragHúzás egy útvonal menténpath (pontok listája)
moveA mutató mozgatásax, y
scrollGörgetésx, y, scroll_x, scroll_y
keypressBillentyű vagy kombinációkeys (pl. ["CTRL", "A"])
typeSzöveg beírásatext
waitVárakozás az oldal betöltésére—
screenshotÚj képernyőkép kérése—

A teljes folyamat

Összegezve ezek az elemek az OpenAI dokumentációja alapján a következő hurkot alkotják. Amíg a válasz tartalmaz computer_call elemet, addig végrehajtod a benne lévő műveleteket, rögzíted a képernyőt, és visszaküldöd a képernyőképet egy computer_call_output elemben, amely újrahasználja ugyanazt a call_id-t; a previous_response_id köti össze az egyes köröket az előzővel.

from openai import OpenAI

client = OpenAI()

def computer_use_loop(page, task: str):
    """Computer Use loop with the computer tool from the Responses API."""
    response = client.responses.create(
        model="gpt-6.1-sol",
        tools=[{"type": "computer"}],
        input=task,
    )

    while True:
        call = next(
            (item for item in response.output if item.type == "computer_call"),
            None,
        )
        if call is None:
            return response.output_text  # no more actions requested: task is done

        execute_actions(page, call.actions)  # your action handler (Lesson 4)
        screenshot = capture_screen(page)

        response = client.responses.create(
            model="gpt-6.1-sol",
            tools=[{"type": "computer"}],
            previous_response_id=response.id,
            input=[{
                "type": "computer_call_output",
                "call_id": call.call_id,
                "output": {
                    "type": "computer_screenshot",
                    "image_url": f"data:image/png;base64,{screenshot}",
                    "detail": "original",
                },
            }],
        )

Ennek a ciklusnak még nincsenek biztonsági korlátai: éles környezetben korlátozd a körök számát, az időtartamot és a költséget; állj le, ha egy hívás függőben lévő biztonsági ellenőrzéseket (pending_safety_checks) tartalmaz; és ellenőrizd a tényleges eredményt, ne csak a modell végső üzenetére hagyatkozz. Ezek az OpenAI biztonsági irányelvei, amelyekre a 12. leckében térünk ki.

Egy ciklus költsége

Minden Responses API kérés díjköteles a bemeneti és kimeneti tokenek után, és minden képernyőkép képbemenetnek számít; egy hosztolt környezetet külön is számlázhatnak. Egy feladat költsége tehát a körök számától, a képernyőkép méretétől és a modelltől függ – és gyorsabban nő, mint a körök száma, mert még a previous_response_id használata mellett is minden előző válasz bemeneti tokenjeit újra felszámítják bemenetként minden kérésnél. Az OpenAI képköltség-számológépet biztosít, és minden kéréshez elérhetővé teszi a használati adatokat: mérj saját munkafolyamataidon, mielőtt költségvetést terveznél. Egy Selenium szkript mindig ugyanazt csinálja majd gyorsabban és olcsóbban – de át kell írnod, ha legközelebb megváltozik az űrlap, amit az ágens nem igényel.

Főbb megállapítások

  • A feladat → műveletek → képernyőkép ciklus a Computer Use szíve; az alkalmazásod hajtja végre a műveleteket
  • OpenAI esetén a Responses API-ban a tools=[{"type": "computer"}] paraméterrel deklarálod az eszközt
  • Egy computer_call a sorban végrehajtandó műveletek (click, type, scroll, keypress stb.) rendezett listáját tartalmazza
  • A képernyőkép egy computer_call_output elemben tér vissza a modellhez, ugyanazzal a call_id-vel, a previous_response_id által láncolva
  • Minden kör tokeneket és egy képet emészt fel: korlátozd a körök számát, és mérj, mielőtt költségvetést terveznél