Architektúra: Képernyőképek, műveletek és az interakciós ciklus
Ezen az oldalon
A leckét 2026. november 3-án írtuk át az OpenAI Computer use útmutatója és a Computer use integration recipes alapján: Ez a tanfolyam korábban az Anthropic API-jára támaszkodott (
import anthropic,computer_20241022eszköz). Most az OpenAI Responses APIcomputereszközét használjuk, ahol a műveletek egycomputer_callelemben csoportosulnak, a képernyőképek pedig acomputer_call_outputrévén térnek vissza. Eltávolítottuk az előző verzió forrásolatlan tokenszámlálását és időtartam-becsléseit. Források: Computer use · Integration recipes.
Az észlelés-cselekvés hurok
A Computer Use teljes architektúrája egyetlen ciklusra vezethető vissza: észlelés → döntés → cselekvés → észlelés. Amíg ez a ciklus nem tisztázódik benned, az automatizálásaid kiszámíthatatlanok maradnak; ha viszont egyszer beindul, a többi már csak technikai részletkérdés.
A különbség egy Selenium szkripthez képest abban rejlik, hol lakozik a tudás. A Selenium vakon végrehajt egy előre meghatározott sorozatot: kattints ide, majd oda, majd gépeld be ezt. A Computer Use csak azután választja ki a következő lépést, hogy látta az előző eredményét. Felugrik egy ablak, tovább tart egy oldal betöltése, vagy egyik napról a másikra megváltozik egy gomb felirata: mindhárom esetben a modell látja a tényleges helyzetet és alkalmazkodik, míg a szkript továbbra is a semmibe szaval.
Az OpenAI computer eszközével a kommunikáció három lépésben zajlik: elküldöd a feladatot, végrehajtod a modell által visszaadott műveleteket, majd visszaküldesz egy képernyőképet. Az alkalmazásod fogja az egeret és a billentyűzetet; a modell csak a döntéseket hozza meg.
A kiindulópont: a képernyőkép
Minden kör a képernyő aktuális állapotáról készült képen alapul. Ez a képernyőkép egy Playwright által vezérelt böngészőből származik – ez a leggyakoribb eset a webes automatizálásnál –, egy virtuális asztalról asztali alkalmazások automatizálásakor, vagy egy Docker konténerből, amely elszigeteli az ágenst. Az OpenAI minden esetben izolált böngésző vagy virtuális gép használatát javasolja.
import base64
def capture_screen(page) -> str:
"""Capture the screen with Playwright and return the PNG image as base64."""
return base64.b64encode(page.screenshot()).decode("utf-8")
A képernyőkép PNG adat URL-ként kerül vissza a modellhez. Ez képbemenetnek számít, így befolyásolja minden kör költségét: a rögzített ablakméret valós tervezési paraméter.
Elemzés és döntés
A modell megkapja a feladatot, a beszélgetés előzményeit és a legfrissebb képernyőképet. A válasza nem egy mondat, hanem egy computer_call elem, amely a végrehajtandó műveletek sorrendezett listáját tartalmazza. Íme egy példa az OpenAI dokumentációjából, amely kiválaszt egy keresőmezőt, majd beír egy szót:
{
"type": "computer_call",
"call_id": "call_002",
"actions": [
{ "type": "click", "button": "left", "x": 405, "y": 157 },
{ "type": "type", "text": "penguin" }
],
"status": "completed"
}
Két részlet számít. Az első hívás tartalmazhat csak egy screenshot műveletet: ekkor a modell azt kéri, lássa a képernyőt cselekvés előtt, és te egy képernyőképet küldesz vissza változtatás nélkül. Továbbá a status: "completed" azt jelenti, hogy a modell befejezte a hívás generálását, nem pedig azt, hogy a műveleteket végrehajtották: azok végrehajtása rajtad múlik.
A műveletek tára
A modell rendelkezésére álló szókincs szándékosan korlátozott; kombinálva ezek az alapvető elemek lefedik az emberek egérrel és billentyűzettel végzett tevékenységeinek nagy részét.
| Művelet | Leírás | Mezők |
|---|---|---|
click | Kattintás egy pozícióra | x, y, button (left, right, wheel, back, forward) |
double_click | Dupla kattintás | x, y |
drag | Húzás egy útvonal mentén | path (pontok listája) |
move | A mutató mozgatása | x, y |
scroll | Görgetés | x, y, scroll_x, scroll_y |
keypress | Billentyű vagy kombináció | keys (pl. ["CTRL", "A"]) |
type | Szöveg beírása | text |
wait | Várakozás az oldal betöltésére | — |
screenshot | Új képernyőkép kérése | — |
A teljes folyamat
Összegezve ezek az elemek az OpenAI dokumentációja alapján a következő hurkot alkotják. Amíg a válasz tartalmaz computer_call elemet, addig végrehajtod a benne lévő műveleteket, rögzíted a képernyőt, és visszaküldöd a képernyőképet egy computer_call_output elemben, amely újrahasználja ugyanazt a call_id-t; a previous_response_id köti össze az egyes köröket az előzővel.
from openai import OpenAI
client = OpenAI()
def computer_use_loop(page, task: str):
"""Computer Use loop with the computer tool from the Responses API."""
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input=task,
)
while True:
call = next(
(item for item in response.output if item.type == "computer_call"),
None,
)
if call is None:
return response.output_text # no more actions requested: task is done
execute_actions(page, call.actions) # your action handler (Lesson 4)
screenshot = capture_screen(page)
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
previous_response_id=response.id,
input=[{
"type": "computer_call_output",
"call_id": call.call_id,
"output": {
"type": "computer_screenshot",
"image_url": f"data:image/png;base64,{screenshot}",
"detail": "original",
},
}],
)
Ennek a ciklusnak még nincsenek biztonsági korlátai: éles környezetben korlátozd a körök számát, az időtartamot és a költséget; állj le, ha egy hívás függőben lévő biztonsági ellenőrzéseket (pending_safety_checks) tartalmaz; és ellenőrizd a tényleges eredményt, ne csak a modell végső üzenetére hagyatkozz. Ezek az OpenAI biztonsági irányelvei, amelyekre a 12. leckében térünk ki.
Egy ciklus költsége
Minden Responses API kérés díjköteles a bemeneti és kimeneti tokenek után, és minden képernyőkép képbemenetnek számít; egy hosztolt környezetet külön is számlázhatnak. Egy feladat költsége tehát a körök számától, a képernyőkép méretétől és a modelltől függ – és gyorsabban nő, mint a körök száma, mert még a previous_response_id használata mellett is minden előző válasz bemeneti tokenjeit újra felszámítják bemenetként minden kérésnél. Az OpenAI képköltség-számológépet biztosít, és minden kéréshez elérhetővé teszi a használati adatokat: mérj saját munkafolyamataidon, mielőtt költségvetést terveznél. Egy Selenium szkript mindig ugyanazt csinálja majd gyorsabban és olcsóbban – de át kell írnod, ha legközelebb megváltozik az űrlap, amit az ágens nem igényel.
Főbb megállapítások
- A feladat → műveletek → képernyőkép ciklus a Computer Use szíve; az alkalmazásod hajtja végre a műveleteket
- OpenAI esetén a Responses API-ban a
tools=[{"type": "computer"}]paraméterrel deklarálod az eszközt - Egy
computer_calla sorban végrehajtandó műveletek (click,type,scroll,keypressstb.) rendezett listáját tartalmazza - A képernyőkép egy
computer_call_outputelemben tér vissza a modellhez, ugyanazzal acall_id-vel, aprevious_response_idáltal láncolva - Minden kör tokeneket és egy képet emészt fel: korlátozd a körök számát, és mérj, mielőtt költségvetést terveznél