Architektūra: ekrano kopijos, veiksmai ir sąveikos ciklas
Šiame puslapyje
Pamoka perrašyta 2026 m. lapkričio 3 d. remiantis OpenAI Computer use gairėmis ir Computer use integration recipes: anksčiau šis kursas rėmėsi Anthropic API (
import anthropic, įrankiscomputer_20241022). Dabar naudojama OpenAI Responses APIcomputerpriemonė, veiksmai sugrupuoti įcomputer_call, o ekrano kopijos grąžinamos percomputer_call_output. Iš ankstesnės versijos pašalinami nepagrįsti žetonų skaičiai ir trukmės įverčiai. Šaltiniai: Computer use · Integration recipes.
Suvokimo ir veiksmo ciklas
Visa „Computer Use“ architektūra susiveda į vieną ciklą: stebėk → spręsk → veik → stebėk. Kol šis ciklas tau nėra aiškus, tavo automatizacijos bus nestabilios; kai tai suprasite, visa kita tėra techninė infrastruktūra.
Skirtumas nuo „Selenium“ scenarijaus slypi tame, kur yra žinios. „Selenium“ aklai vykdo iš anksto nustatytą seką: spustelėk čia, tada ten, tada įvesk tai. „Computer Use“ kitą žingsnį pasirenka tik pamatęs ankstesniojo rezultatą. Atsiranda iššokantysis langas, puslapis užkraunamas ilgiau arba mygtuko etiketė per naktį pasikeičia: visais trim atvejais modelis mato tikrąją situaciją ir prisitaiko, o scenarijus toliau „kalba į tuštumą“.
Naudojant OpenAI computer įrankį, keitimasis vyksta trimis žingsniais: siunti užduotį, vykdai modelio grąžintus veiksmus, o tada siunti atgal ekrano kopiją. Tavo programa valdo pelę ir klaviatūrą; modelis tik priima sprendimus.
Pradinis taškas: ekrano kopija
Kiekvienas ėjimas remiasi dabartinės ekrano būsenos atvaizdu. Ši ekrano kopija gaunama iš naršyklės, valdomos „Playwright“ (dažniausias atvejis žiniatinklio automatizavimui), virtualaus darbalaukio automatizuojant darbalaukio programą arba „Docker“ konteinerio, izoliuojančio agentą. OpenAI rekomenduoja visais atvejais naudoti izoliuotą naršyklę arba virtualią mašiną.
import base64
def capture_screen(page) -> str:
"""Capture the screen with Playwright and return the PNG image as base64."""
return base64.b664encode(page.screenshot()).decode("utf-8")
Ekrano kopija grąžinama modeliui kaip PNG duomenų URL. Ji skaičiuojama kaip vaizdo įvestis, todėl daro įtaką kiekvieno ėjimo kainai: fiksuojamo lango dydis yra tikras projektavimo parametras.
Analizė ir sprendimas
Modelis gauna užduotį, pokalbio istoriją ir naujausią ekrano kopiją. Jo atsakymas yra ne sakinys, o computer_call elementas, kuriame pateikiamas sutvarkytas veiksmų, kuriuos reikia vykdyti, sąrašas. Štai pavyzdys iš OpenAI dokumentacijos, kuriame pasirenkamas paieškos laukas ir tada įvedamas žodis:
{
"type": "computer_call",
"call_id": "call_002",
"actions": [
{ "type": "click", "button": "left", "x": 405, "y": 157 },
{ "type": "type", "text": "penguin" }
],
"status": "completed"
}
Svarbios dvi detalės. Pirmajame kvietime gali būti tik screenshot veiksmas: modelis prašo pamatyti ekraną prieš veikdamas, ir tu grąžini ekrano kopiją nieko nekeisdamas. Be to, status: "completed" reiškia, kad modelis baigė generuoti kvietimą, o ne kad veiksmai buvo atlikti: jų vykdymas tenka tau.
Veiksmų repertuaras
Modeliui prieinama žodynas sąmoningai ribotas; sujungus šias primityvias operacijas, jos apima daugumą dalykų, kuriuos žmogus atlieka pele ir klaviatūra.
| Veiksmas | Aprašymas | Laukai |
|---|---|---|
click | Spustelėti pozicijoje | x, y, button (left, right, wheel, back, forward) |
double_click | Dvigubas spustelėjimas | x, y |
drag | Tempimas išilgai kelio | path (taškų sąrašas) |
move | Perkelti žymeklį | x, y |
scroll | Slinkti | x, y, scroll_x, scroll_y |
keypress | Klavišas arba kombinacija | keys (pvz., ["CTRL", "A"]) |
type | Įvesti tekstą | text |
wait | Leisti puslapiui užsikrauti | — |
screenshot | Prašyti naujos ekrano kopijos | — |
Pilnas srautas
Sujungus šiuos elementus, susidaro šis ciklas, pagrįstas OpenAI dokumentacija. Kol atsakyme yra computer_call, vykdai jo veiksmus, fiksuoji ekraną ir grąžini ekrano kopiją computer_call_output objekte, kuriame naudojamas tas pats call_id; previous_response_id sieja kiekvieną ėjimą su ankstesniuoju.
from openai import OpenAI
client = OpenAI()
def computer_use_loop(page, task: str):
"""Computer Use loop with the computer tool from the Responses API."""
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input=task,
)
while True:
call = next(
(item for item in response.output if item.type == "computer_call"),
None,
)
if call is None:
return response.output_text # no more actions requested: task is done
execute_actions(page, call.actions) # your action handler (Lesson 4)
screenshot = capture_screen(page)
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
previous_response_id=response.id,
input=[{
"type": "computer_call_output",
"call_id": call.call_id,
"output": {
"type": "computer_screenshot",
"image_url": f"data:image/png;base64,{screenshot}",
"detail": "original",
},
}],
)
Šiame cikle dar nėra apsaugos mechanizmų: gamybinėje aplinkoje apribokite ėjimų skaičių, trukmę ir kainą; sustabdykite, jei kvietime yra laukiančių saugumo patikrų (pending_safety_checks); ir patikrinkite faktinį rezultatą, o ne pasitikėkite tik galutiniu modelio pranešimu. Tai yra OpenAI saugumo gairės, aptariamos 12 pamokoje.
Kiek kainuoja vienas ciklo ėjimas
Už kiekvieną užklausą Responses API imamas mokestis už įvesties ir išvesties žetonus, o kiekviena ekrano kopija skaičiuojama kaip vaizdo įvestis; prieglobos aplinka gali būti apmokestinama atskirai. Todėl užduoties kaina priklauso nuo ėjimų skaičiaus, ekrano kopijos dydžio ir modelio – ir ji auga greičiau nei ėjimų skaičius, nes net naudojant previous_response_id, visi ankstesnių atsakymų grandinėje esantys įvesties žetonai kiekvieno prašymo metu vėl apmokestinami kaip įvestis. OpenAI pateikia vaizdų kainos skaičiuoklę ir kiekvienam prašymui atskleidžia naudojimo duomenis: prieš planuodami biudžetą, išmatuokite savo darbo eigas. „Selenium“ scenarijus visada atliks tą patį greičiau ir pigiau – tačiau kitą kartą pasikeitus formai, jį reikės perrašyti, ko agentui daryti nereikia.
Svarbiausi punktai
- Ciklas užduotis → veiksmai → ekrano kopija yra „Computer Use“ širdis; tavo programa vykdo veiksmus
- Naudojant OpenAI, deklaruokite įrankį naudodami
tools=[{"type": "computer"}]Responses API computer_callperduoda sutvarkytą veiksmų sąrašą (click,type,scroll,keypressir kt.), kuriuos reikia vykdyti iš eilės- Ekrano kopija grąžinama modeliui
computer_call_outputobjekte su tuo pačiucall_id, sujungtu perprevious_response_id - Kiekvienas ėjimas kainuoja žetonus ir vaizdą: apribokite ėjimų skaičių ir atlikite matavimus prieš planuodami biudžetą