Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Architektūra: ekrano kopijos, veiksmai ir sąveikos ciklas

Paskaita 2 iš 14 Atnaujinta 2026 m. lapkričio 3 d. Kūrėjas
Šiame puslapyje
  1. Suvokimo ir veiksmo ciklas
  2. Pradinis taškas: ekrano kopija
  3. Analizė ir sprendimas
  4. Veiksmų repertuaras
  5. Pilnas srautas
  6. Kiek kainuoja vienas ciklo ėjimas
  7. Svarbiausi punktai

Pamoka perrašyta 2026 m. lapkričio 3 d. remiantis OpenAI Computer use gairėmis ir Computer use integration recipes: anksčiau šis kursas rėmėsi Anthropic API (import anthropic, įrankis computer_20241022). Dabar naudojama OpenAI Responses API computer priemonė, veiksmai sugrupuoti į computer_call, o ekrano kopijos grąžinamos per computer_call_output. Iš ankstesnės versijos pašalinami nepagrįsti žetonų skaičiai ir trukmės įverčiai. Šaltiniai: Computer use · Integration recipes.

Suvokimo ir veiksmo ciklas

Visa „Computer Use“ architektūra susiveda į vieną ciklą: stebėk → spręsk → veik → stebėk. Kol šis ciklas tau nėra aiškus, tavo automatizacijos bus nestabilios; kai tai suprasite, visa kita tėra techninė infrastruktūra.

Skirtumas nuo „Selenium“ scenarijaus slypi tame, kur yra žinios. „Selenium“ aklai vykdo iš anksto nustatytą seką: spustelėk čia, tada ten, tada įvesk tai. „Computer Use“ kitą žingsnį pasirenka tik pamatęs ankstesniojo rezultatą. Atsiranda iššokantysis langas, puslapis užkraunamas ilgiau arba mygtuko etiketė per naktį pasikeičia: visais trim atvejais modelis mato tikrąją situaciją ir prisitaiko, o scenarijus toliau „kalba į tuštumą“.

Naudojant OpenAI computer įrankį, keitimasis vyksta trimis žingsniais: siunti užduotį, vykdai modelio grąžintus veiksmus, o tada siunti atgal ekrano kopiją. Tavo programa valdo pelę ir klaviatūrą; modelis tik priima sprendimus.

Pradinis taškas: ekrano kopija

Kiekvienas ėjimas remiasi dabartinės ekrano būsenos atvaizdu. Ši ekrano kopija gaunama iš naršyklės, valdomos „Playwright“ (dažniausias atvejis žiniatinklio automatizavimui), virtualaus darbalaukio automatizuojant darbalaukio programą arba „Docker“ konteinerio, izoliuojančio agentą. OpenAI rekomenduoja visais atvejais naudoti izoliuotą naršyklę arba virtualią mašiną.

import base64

def capture_screen(page) -> str:
    """Capture the screen with Playwright and return the PNG image as base64."""
    return base64.b664encode(page.screenshot()).decode("utf-8")

Ekrano kopija grąžinama modeliui kaip PNG duomenų URL. Ji skaičiuojama kaip vaizdo įvestis, todėl daro įtaką kiekvieno ėjimo kainai: fiksuojamo lango dydis yra tikras projektavimo parametras.

Analizė ir sprendimas

Modelis gauna užduotį, pokalbio istoriją ir naujausią ekrano kopiją. Jo atsakymas yra ne sakinys, o computer_call elementas, kuriame pateikiamas sutvarkytas veiksmų, kuriuos reikia vykdyti, sąrašas. Štai pavyzdys iš OpenAI dokumentacijos, kuriame pasirenkamas paieškos laukas ir tada įvedamas žodis:

{
  "type": "computer_call",
  "call_id": "call_002",
  "actions": [
    { "type": "click", "button": "left", "x": 405, "y": 157 },
    { "type": "type", "text": "penguin" }
  ],
  "status": "completed"
}

Svarbios dvi detalės. Pirmajame kvietime gali būti tik screenshot veiksmas: modelis prašo pamatyti ekraną prieš veikdamas, ir tu grąžini ekrano kopiją nieko nekeisdamas. Be to, status: "completed" reiškia, kad modelis baigė generuoti kvietimą, o ne kad veiksmai buvo atlikti: jų vykdymas tenka tau.

Veiksmų repertuaras

Modeliui prieinama žodynas sąmoningai ribotas; sujungus šias primityvias operacijas, jos apima daugumą dalykų, kuriuos žmogus atlieka pele ir klaviatūra.

VeiksmasAprašymasLaukai
clickSpustelėti pozicijojex, y, button (left, right, wheel, back, forward)
double_clickDvigubas spustelėjimasx, y
dragTempimas išilgai keliopath (taškų sąrašas)
movePerkelti žymeklįx, y
scrollSlinktix, y, scroll_x, scroll_y
keypressKlavišas arba kombinacijakeys (pvz., ["CTRL", "A"])
typeĮvesti tekstątext
waitLeisti puslapiui užsikrauti—
screenshotPrašyti naujos ekrano kopijos—

Pilnas srautas

Sujungus šiuos elementus, susidaro šis ciklas, pagrįstas OpenAI dokumentacija. Kol atsakyme yra computer_call, vykdai jo veiksmus, fiksuoji ekraną ir grąžini ekrano kopiją computer_call_output objekte, kuriame naudojamas tas pats call_id; previous_response_id sieja kiekvieną ėjimą su ankstesniuoju.

from openai import OpenAI

client = OpenAI()

def computer_use_loop(page, task: str):
    """Computer Use loop with the computer tool from the Responses API."""
    response = client.responses.create(
        model="gpt-6.1-sol",
        tools=[{"type": "computer"}],
        input=task,
    )

    while True:
        call = next(
            (item for item in response.output if item.type == "computer_call"),
            None,
        )
        if call is None:
            return response.output_text  # no more actions requested: task is done

        execute_actions(page, call.actions)  # your action handler (Lesson 4)
        screenshot = capture_screen(page)

        response = client.responses.create(
            model="gpt-6.1-sol",
            tools=[{"type": "computer"}],
            previous_response_id=response.id,
            input=[{
                "type": "computer_call_output",
                "call_id": call.call_id,
                "output": {
                    "type": "computer_screenshot",
                    "image_url": f"data:image/png;base64,{screenshot}",
                    "detail": "original",
                },
            }],
        )

Šiame cikle dar nėra apsaugos mechanizmų: gamybinėje aplinkoje apribokite ėjimų skaičių, trukmę ir kainą; sustabdykite, jei kvietime yra laukiančių saugumo patikrų (pending_safety_checks); ir patikrinkite faktinį rezultatą, o ne pasitikėkite tik galutiniu modelio pranešimu. Tai yra OpenAI saugumo gairės, aptariamos 12 pamokoje.

Kiek kainuoja vienas ciklo ėjimas

Už kiekvieną užklausą Responses API imamas mokestis už įvesties ir išvesties žetonus, o kiekviena ekrano kopija skaičiuojama kaip vaizdo įvestis; prieglobos aplinka gali būti apmokestinama atskirai. Todėl užduoties kaina priklauso nuo ėjimų skaičiaus, ekrano kopijos dydžio ir modelio – ir ji auga greičiau nei ėjimų skaičius, nes net naudojant previous_response_id, visi ankstesnių atsakymų grandinėje esantys įvesties žetonai kiekvieno prašymo metu vėl apmokestinami kaip įvestis. OpenAI pateikia vaizdų kainos skaičiuoklę ir kiekvienam prašymui atskleidžia naudojimo duomenis: prieš planuodami biudžetą, išmatuokite savo darbo eigas. „Selenium“ scenarijus visada atliks tą patį greičiau ir pigiau – tačiau kitą kartą pasikeitus formai, jį reikės perrašyti, ko agentui daryti nereikia.

Svarbiausi punktai

  • Ciklas užduotis → veiksmai → ekrano kopija yra „Computer Use“ širdis; tavo programa vykdo veiksmus
  • Naudojant OpenAI, deklaruokite įrankį naudodami tools=[{"type": "computer"}] Responses API
  • computer_call perduoda sutvarkytą veiksmų sąrašą (click, type, scroll, keypress ir kt.), kuriuos reikia vykdyti iš eilės
  • Ekrano kopija grąžinama modeliui computer_call_output objekte su tuo pačiu call_id, sujungtu per previous_response_id
  • Kiekvienas ėjimas kainuoja žetonus ir vaizdą: apribokite ėjimų skaičių ir atlikite matavimus prieš planuodami biudžetą