Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Arhitektūra: ekrānuzņēmumi, darbības un mijiedarbības cikls

Nodarbība 2 no 14 Atjaunota 2026. gada 3. novembris Programmētājs
Šajā lapā
  1. Uztveres un darbības cikls
  2. Sākumpunkts: ekrānuzņēmums
  3. Analīze un lēmuma pieņemšana
  4. Darbību repertuārs
  5. Pilnā plūsma
  6. Cik maksā viens cikla gājiens
  7. Galvenās atziņas

Nodarbība pārrakstīta 2026. gada 3. novembrī, balstoties uz OpenAI Computer use rokasgrāmatu un Computer use integration recipes: Šis kurss iepriekš paļāvās uz Anthropic API (import anthropic, rīks computer_20241022). Tagad tas izmanto OpenAI Responses API computer rīku, kur darbības ir sagrupētas computer_call objektā, bet ekrānuzņēmumi tiek atgriezti, izmantojot computer_call_output. Mēs esam izņēmuši nepamatotos tokenu skaitus un ilguma aplēses no iepriekšējās versijas. Avoti: Computer use · Integration recipes.

Uztveres un darbības cikls

Visa Computer Use arhitektūra reducējas uz vienu ciklu: novēro → izlem → rīkojies → novēro. Kamēr šis cikls nav skaidrs tavā prātā, tavas automatizācijas būs neparedzamas; tiklīdz tas „ieslēdzas”, pārējais ir tikai tehniska apdare.

Atšķirība no Selenium skripta slēpjas tajā, kur atrodas zināšanas. Selenium akli izpilda iepriekš noteiktu secību: klikšķini šeit, tad tur, tad ieraksti to. Computer Use izvēlas nākamo soli tikai pēc tam, kad ir redzējis iepriekšējā rezultātu. Parādās uznirstošais logs, lapa ielādējas ilgāk vai pogas uzraksts mainās pa nakti: visos trīs gadījumos modelis redz faktisko situāciju un pielāgojas, turpretī skripts turpina recitēt tukšumā.

Izmantojot OpenAI computer rīku, apmaiņa notiek trīs soļos: tu nosūti uzdevumu, tu izpildi modeļa atgrieztās darbības un pēc tam nosūti atpakaļ ekrānuzņēmumu. Tava lietotne tur peli un tastatūru; modelis tikai pieņem lēmumus.

Sākumpunkts: ekrānuzņēmums

Katrs gājiens balstās uz pašreizējā ekrāna stāvokļa attēlu. Šis ekrānuzņēmums nāk no pārlūka, ko kontrolē Playwright — visizplatītākais gadījums tīmekļa automatizācijai —, virtuālās darbvirsmas, automatizējot darbvirsmas lietotni, vai Docker konteinera, kas izolē aģentu. OpenAI visos gadījumos iesaka izmantot izolētu pārlūku vai virtuālo mašīnu.

import base64

def capture_screen(page) -> str:
    """Uzņem ekrānu ar Playwright un atgriež PNG attēlu kā base64."""
    return base64.b64encode(page.screenshot()).decode("utf-8")

Ekrānuzņēmums tiek nosūtīts modelim atpakaļ kā PNG datu URL. Tas tiek uzskatīts par attēla ievadi, tāpēc tas ietekmē katra gājiena izmaksas: loga izmērs, ko uzņem, ir reāls projektēšanas parametrs.

Analīze un lēmuma pieņemšana

Modelis saņem uzdevumu, sarunas vēsturi un jaunāko ekrānuzņēmumu. Tā atbilde nav teikums, bet gan computer_call elements, kas satur sakārtotu darbību sarakstu izpildei. Lūk, piemērs no OpenAI dokumentācijas, kas atlasa meklēšanas lauku un pēc tam ieraksta vārdu:

{
  "type": "computer_call",
  "call_id": "call_002",
  "actions": [
    { "type": "click", "button": "left", "x": 405, "y": 157 },
    { "type": "type", "text": "penguin" }
  ],
  "status": "completed"
}

Divas detaļas ir svarīgas. Pirmajā zvanā var būt tikai screenshot darbība: modelis lūdz redzēt ekrānu pirms rīcības, un tu atgriez ekrānuzņēmumu, neko nemainot. Turklāt status: "completed" nozīmē, ka modelis ir pabeidzis zvana ģenerēšanu, nevis ka darbības ir veiktas: to izpilde ir tava ziņā.

Darbību repertuārs

Vārdnīca, kas pieejama modelim, ir apzināti ierobežota; kopā šie primitīvi aptver lielāko daļu no tā, ko cilvēks dara ar peli un tastatūru.

DarbībaAprakstsLauki
clickKlikšķis pozīcijāx, y, button (left, right, wheel, back, forward)
double_clickDubultklikšķisx, y
dragVilkt gar ceļupath (punktu saraksts)
movePārvietot kursorux, y
scrollRitinātx, y, scroll_x, scroll_y
keypressTaustiņš vai kombinācijakeys (piem., ["CTRL", "A"])
typeIerakstīt tekstutext
waitĻaut lapai ielādēties—
screenshotPieprasīt jaunu ekrānuzņēmumu—

Pilnā plūsma

Apvienojot šos elementus, rodas šāds cikls, kas modelēts pēc OpenAI dokumentācijas. Kamēr atbilde satur computer_call, tu izpildi tā darbības, uzņem ekrānu un atgriez ekrānuzņēmumu computer_call_output objektā, kas atkārtoti izmanto to pašu call_id; previous_response_id saista katru gājienu ar iepriekšējo.

from openai import OpenAI

client = OpenAI()

def computer_use_loop(page, task: str):
    """Computer Use cikls ar computer rīku no Responses API."""
    response = client.responses.create(
        model="gpt-6.1-sol",
        tools=[{"type": "computer"}],
        input=task,
    )

    while True:
        call = next(
            (item for item in response.output if item.type == "computer_call"),
            None,
        )
        if call is None:
            return response.output_text  # vairs nav pieprasītu darbību: uzdevums pabeigts

        execute_actions(page, call.actions)  # tavs darbību apstrādātājs (4. nodarbība)
        screenshot = capture_screen(page)

        response = client.responses.create(
            model="gpt-6.1-sol",
            tools=[{"type": "computer"}],
            previous_response_id=response.id,
            input=[{
                "type": "computer_call_output",
                "call_id": call.call_id,
                "output": {
                    "type": "computer_screenshot",
                    "image_url": f"data:image/png;base64,{screenshot}",
                    "detail": "original",
                },
            }],
        )

Šim ciklam vēl nav drošības ierobežojumu: ražošanas vidē ierobežo gājienu skaitu, ilgumu un izmaksas; apturi procesu, ja zvans ietver gaidošas drošības pārbaudes (pending_safety_checks); un pārbaudi faktisko rezultātu, nevis paļaujies tikai uz modeļa beigu ziņojumu. Tie ir OpenAI drošības norādījumi, kas aplūkoti 12. nodarbībā.

Cik maksā viens cikla gājiens

Katrs pieprasījums Responses API apliek ar nodokli ievades un izvades tokenus, un katrs ekrānuzņēmums tiek uzskatīts par attēla ievadi; mitināta vide var tikt apmaksāta atsevišķi. Uzdevuma izmaksas tāpēc ir atkarīgas no gājienu skaita, ekrānuzņēmuma lieluma un modeļa — un tās pieaug ātrāk nekā gājienu skaits, jo pat ar previous_response_id visi iepriekšējo atbilžu ievades tokeni ķēdē tiek atkārtoti aplikti ar nodokli kā ievade katrā pieprasījumā. OpenAI nodrošina attēlu izmaksu kalkulatoru un eksponē lietojumu katram pieprasījumam: veic mērījumus savās darba plūsmās pirms budžeta plānošanas. Selenium skripts vienmēr darīs to pašu ātrāk un lētāk — bet tev būs jāpārraksta tas nākamreiz, kad forma mainīsies, kamēr aģentam tas nav nepieciešams.

Galvenās atziņas

  • Cikls uzdevums → darbības → ekrānuzņēmums ir Computer Use sirds; tava lietotne izpilda darbības
  • Izmantojot OpenAI, deklarē rīku ar tools=[{"type": "computer"}] Responses API
  • computer_call satur sakārtotu darbību sarakstu (click, type, scroll, keypress utt.), kas jāizpilda secīgi
  • Ekrānuzņēmums tiek atgriezts modelim computer_call_output objektā ar to pašu call_id, saistīts ar previous_response_id
  • Katrs gājiens maksā tokenus un attēlu: ierobežo gājienu skaitu un veic mērījumus pirms budžeta plānošanas