Arhitektūra: ekrānuzņēmumi, darbības un mijiedarbības cikls
Šajā lapā
Nodarbība pārrakstīta 2026. gada 3. novembrī, balstoties uz OpenAI Computer use rokasgrāmatu un Computer use integration recipes: Šis kurss iepriekš paļāvās uz Anthropic API (
import anthropic, rīkscomputer_20241022). Tagad tas izmanto OpenAI Responses APIcomputerrīku, kur darbības ir sagrupētascomputer_callobjektā, bet ekrānuzņēmumi tiek atgriezti, izmantojotcomputer_call_output. Mēs esam izņēmuši nepamatotos tokenu skaitus un ilguma aplēses no iepriekšējās versijas. Avoti: Computer use · Integration recipes.
Uztveres un darbības cikls
Visa Computer Use arhitektūra reducējas uz vienu ciklu: novēro → izlem → rīkojies → novēro. Kamēr šis cikls nav skaidrs tavā prātā, tavas automatizācijas būs neparedzamas; tiklīdz tas „ieslēdzas”, pārējais ir tikai tehniska apdare.
Atšķirība no Selenium skripta slēpjas tajā, kur atrodas zināšanas. Selenium akli izpilda iepriekš noteiktu secību: klikšķini šeit, tad tur, tad ieraksti to. Computer Use izvēlas nākamo soli tikai pēc tam, kad ir redzējis iepriekšējā rezultātu. Parādās uznirstošais logs, lapa ielādējas ilgāk vai pogas uzraksts mainās pa nakti: visos trīs gadījumos modelis redz faktisko situāciju un pielāgojas, turpretī skripts turpina recitēt tukšumā.
Izmantojot OpenAI computer rīku, apmaiņa notiek trīs soļos: tu nosūti uzdevumu, tu izpildi modeļa atgrieztās darbības un pēc tam nosūti atpakaļ ekrānuzņēmumu. Tava lietotne tur peli un tastatūru; modelis tikai pieņem lēmumus.
Sākumpunkts: ekrānuzņēmums
Katrs gājiens balstās uz pašreizējā ekrāna stāvokļa attēlu. Šis ekrānuzņēmums nāk no pārlūka, ko kontrolē Playwright — visizplatītākais gadījums tīmekļa automatizācijai —, virtuālās darbvirsmas, automatizējot darbvirsmas lietotni, vai Docker konteinera, kas izolē aģentu. OpenAI visos gadījumos iesaka izmantot izolētu pārlūku vai virtuālo mašīnu.
import base64
def capture_screen(page) -> str:
"""Uzņem ekrānu ar Playwright un atgriež PNG attēlu kā base64."""
return base64.b64encode(page.screenshot()).decode("utf-8")
Ekrānuzņēmums tiek nosūtīts modelim atpakaļ kā PNG datu URL. Tas tiek uzskatīts par attēla ievadi, tāpēc tas ietekmē katra gājiena izmaksas: loga izmērs, ko uzņem, ir reāls projektēšanas parametrs.
Analīze un lēmuma pieņemšana
Modelis saņem uzdevumu, sarunas vēsturi un jaunāko ekrānuzņēmumu. Tā atbilde nav teikums, bet gan computer_call elements, kas satur sakārtotu darbību sarakstu izpildei. Lūk, piemērs no OpenAI dokumentācijas, kas atlasa meklēšanas lauku un pēc tam ieraksta vārdu:
{
"type": "computer_call",
"call_id": "call_002",
"actions": [
{ "type": "click", "button": "left", "x": 405, "y": 157 },
{ "type": "type", "text": "penguin" }
],
"status": "completed"
}
Divas detaļas ir svarīgas. Pirmajā zvanā var būt tikai screenshot darbība: modelis lūdz redzēt ekrānu pirms rīcības, un tu atgriez ekrānuzņēmumu, neko nemainot. Turklāt status: "completed" nozīmē, ka modelis ir pabeidzis zvana ģenerēšanu, nevis ka darbības ir veiktas: to izpilde ir tava ziņā.
Darbību repertuārs
Vārdnīca, kas pieejama modelim, ir apzināti ierobežota; kopā šie primitīvi aptver lielāko daļu no tā, ko cilvēks dara ar peli un tastatūru.
| Darbība | Apraksts | Lauki |
|---|---|---|
click | Klikšķis pozīcijā | x, y, button (left, right, wheel, back, forward) |
double_click | Dubultklikšķis | x, y |
drag | Vilkt gar ceļu | path (punktu saraksts) |
move | Pārvietot kursoru | x, y |
scroll | Ritināt | x, y, scroll_x, scroll_y |
keypress | Taustiņš vai kombinācija | keys (piem., ["CTRL", "A"]) |
type | Ierakstīt tekstu | text |
wait | Ļaut lapai ielādēties | — |
screenshot | Pieprasīt jaunu ekrānuzņēmumu | — |
Pilnā plūsma
Apvienojot šos elementus, rodas šāds cikls, kas modelēts pēc OpenAI dokumentācijas. Kamēr atbilde satur computer_call, tu izpildi tā darbības, uzņem ekrānu un atgriez ekrānuzņēmumu computer_call_output objektā, kas atkārtoti izmanto to pašu call_id; previous_response_id saista katru gājienu ar iepriekšējo.
from openai import OpenAI
client = OpenAI()
def computer_use_loop(page, task: str):
"""Computer Use cikls ar computer rīku no Responses API."""
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input=task,
)
while True:
call = next(
(item for item in response.output if item.type == "computer_call"),
None,
)
if call is None:
return response.output_text # vairs nav pieprasītu darbību: uzdevums pabeigts
execute_actions(page, call.actions) # tavs darbību apstrādātājs (4. nodarbība)
screenshot = capture_screen(page)
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
previous_response_id=response.id,
input=[{
"type": "computer_call_output",
"call_id": call.call_id,
"output": {
"type": "computer_screenshot",
"image_url": f"data:image/png;base64,{screenshot}",
"detail": "original",
},
}],
)
Šim ciklam vēl nav drošības ierobežojumu: ražošanas vidē ierobežo gājienu skaitu, ilgumu un izmaksas; apturi procesu, ja zvans ietver gaidošas drošības pārbaudes (pending_safety_checks); un pārbaudi faktisko rezultātu, nevis paļaujies tikai uz modeļa beigu ziņojumu. Tie ir OpenAI drošības norādījumi, kas aplūkoti 12. nodarbībā.
Cik maksā viens cikla gājiens
Katrs pieprasījums Responses API apliek ar nodokli ievades un izvades tokenus, un katrs ekrānuzņēmums tiek uzskatīts par attēla ievadi; mitināta vide var tikt apmaksāta atsevišķi. Uzdevuma izmaksas tāpēc ir atkarīgas no gājienu skaita, ekrānuzņēmuma lieluma un modeļa — un tās pieaug ātrāk nekā gājienu skaits, jo pat ar previous_response_id visi iepriekšējo atbilžu ievades tokeni ķēdē tiek atkārtoti aplikti ar nodokli kā ievade katrā pieprasījumā. OpenAI nodrošina attēlu izmaksu kalkulatoru un eksponē lietojumu katram pieprasījumam: veic mērījumus savās darba plūsmās pirms budžeta plānošanas. Selenium skripts vienmēr darīs to pašu ātrāk un lētāk — bet tev būs jāpārraksta tas nākamreiz, kad forma mainīsies, kamēr aģentam tas nav nepieciešams.
Galvenās atziņas
- Cikls uzdevums → darbības → ekrānuzņēmums ir Computer Use sirds; tava lietotne izpilda darbības
- Izmantojot OpenAI, deklarē rīku ar
tools=[{"type": "computer"}]Responses API computer_callsatur sakārtotu darbību sarakstu (click,type,scroll,keypressutt.), kas jāizpilda secīgi- Ekrānuzņēmums tiek atgriezts modelim
computer_call_outputobjektā ar to pašucall_id, saistīts arprevious_response_id - Katrs gājiens maksā tokenus un attēlu: ierobežo gājienu skaitu un veic mērījumus pirms budžeta plānošanas