Przejdź do głównej treści
Polski— Wybierz język
Menu

Architektura: Zrzuty ekranu, akcje i pętla interakcji

Lekcja 2 z 14 Zaktualizowano 3 listopada 2026 Programista
Na tej stronie
  1. Pętla percepcja-akcja
  2. Punkt wyjścia: zrzut ekranu
  3. Analiza i decyzja
  4. Repertuar akcji
  5. Pełny przepływ
  6. Koszt jednego obrotu pętli
  7. Kluczowe wnioski

Lekcja przepisana 3 listopada 2026 r. na podstawie przewodnika Computer use firmy OpenAI oraz przepisów integracyjnych Computer use: Kurs ten wcześniej opierał się na API Anthropic (import anthropic, narzędzie computer_20241022). Obecnie wykorzystuje narzędzie computer z API Responses firmy OpenAI, gdzie akcje są grupowane w computer_call, a zrzuty ekranu zwracane są przez computer_call_output. Usunęliśmy niesprawdzone liczby tokenów i szacunki czasu trwania z poprzedniej wersji. Źródła: Computer use · Przepisy integracyjne.

Pętla percepcja-akcja

Cała architektura Computer Use sprowadza się do jednego cyklu: obserwuj → decyduj → działaj → obserwuj. Dopóki ten cykl nie będzie dla Ciebie jasny, Twoje automatyzacje będą zawodne; gdy tylko to zrozumiesz, reszta to tylko kwestia połączeń technicznych.

Różnica w stosunku do skryptu Selenium polega na tym, gdzie znajduje się wiedza. Selenium ślepo wykonuje wcześniej ustaloną sekwencję: kliknij tutaj, potem tam, następnie wpisz to. Computer Use wybiera kolejny krok dopiero po zobaczeniu wyniku poprzedniego. Pojawi się wyskakujące okienko, strona ładuje się dłużej lub etykieta przycisku zmieni się z dnia na dzień: we wszystkich trzech przypadkach model widzi rzeczywistą sytuację i się dostosowuje, podczas gdy skrypt nadal recytuje swoje instrukcje w próżnię.

Dzięki narzędziu computer firmy OpenAI wymiana danych odbywa się w trzech krokach: wysyłasz zadanie, wykonujesz akcje zwrócone przez model, a następnie odsyłasz zrzut ekranu. Twoja aplikacja obsługuje mysz i klawiaturę; model podejmuje jedynie decyzje.

Punkt wyjścia: zrzut ekranu

Każdy obrót pętli opiera się na obrazie aktualnego stanu ekranu. Zrzut ten pochodzi z przeglądarki sterowanej przez Playwright – najczęstszy przypadek w automatyzacji sieci – z wirtualnego pulpitu podczas automatyzacji aplikacji desktopowej lub z kontenera Docker izolującego agenta. OpenAI zaleca używanie izolowanej przeglądarki lub maszyny wirtualnej we wszystkich przypadkach.

import base64

def capture_screen(page) -> str:
    """Zrób zrzut ekranu za pomocą Playwright i zwróć obraz PNG jako base64."""
    return base64.b64encode(page.screenshot()).decode("utf-8")

Zrzut ekranu wraca do modelu jako URL danych PNG. Liczy się on jako dane wejściowe obrazu, więc wpływa na koszt każdego obrotu: rozmiar okna, który przechwytujesz, jest rzeczywistym parametrem projektowym.

Analiza i decyzja

Model otrzymuje zadanie, historię rozmowy i najnowszy zrzut ekranu. Jego odpowiedzią nie jest zdanie, ale element computer_call, który zawiera uporządkowaną listę akcji do wykonania. Oto przykład z dokumentacji OpenAI, który wybiera pole wyszukiwania, a następnie wpisuje słowo:

{
  "type": "computer_call",
  "call_id": "call_002",
  "actions": [
    { "type": "click", "button": "left", "x": 405, "y": 157 },
    { "type": "type", "text": "penguin" }
  ],
  "status": "completed"
}

Dwa szczegóły mają znaczenie. Pierwsze wywołanie może zawierać tylko akcję screenshot: model prosi o zobaczenie ekranu przed działaniem, a Ty zwracasz zrzut ekranu bez wprowadzania zmian. Ponadto status: "completed" oznacza, że model zakończył generowanie wywołania, a nie że akcje zostały wykonane: to do Ciebie należy ich realizacja.

Repertuar akcji

Słownik dostępny dla modelu jest celowo ograniczony; w połączeniu te prymitywy pokrywają większość czynności, które człowiek wykonuje za pomocą myszy i klawiatury.

AkcjaOpisPola
clickKliknięcie w pozycjix, y, button (left, right, wheel, back, forward)
double_clickPodwójne kliknięciex, y
dragPrzeciąganie wzdłuż ścieżkipath (lista punktów)
movePrzesunięcie wskaźnikax, y
scrollPrzewijaniex, y, scroll_x, scroll_y
keypressKlawisz lub kombinacjakeys (np. ["CTRL", "A"])
typeWpisanie tekstutext
waitOczekiwanie na załadowanie strony—
screenshotŻądanie nowego zrzutu ekranu—

Pełny przepływ

Złożone razem, te elementy tworzą następującą pętlę, wzorowaną na dokumentacji OpenAI. Dopóki odpowiedź zawiera computer_call, wykonujesz jej akcje, przechwytujesz ekran i zwracasz zrzut ekranu w computer_call_output, który ponownie używa tego samego call_id; previous_response_id łączy każdy obrót z poprzednim.

from openai import OpenAI

client = OpenAI()

def computer_use_loop(page, task: str):
    """Pętla Computer Use z narzędziem computer z API Responses."""
    response = client.responses.create(
        model="gpt-6.1-sol",
        tools=[{"type": "computer"}],
        input=task,
    )

    while True:
        call = next(
            (item for item in response.output if item.type == "computer_call"),
            None,
        )
        if call is None:
            return response.output_text  # brak dalszych żądanych akcji: zadanie zakończone

        execute_actions(page, call.actions)  # Twój obsłużnik akcji (Lekcja 4)
        screenshot = capture_screen(page)

        response = client.responses.create(
            model="gpt-6.1-sol",
            tools=[{"type": "computer"}],
            previous_response_id=response.id,
            input=[{
                "type": "computer_call_output",
                "call_id": call.call_id,
                "output": {
                    "type": "computer_screenshot",
                    "image_url": f"data:image/png;base64,{screenshot}",
                    "detail": "original",
                },
            }],
        )

Ta pętla nie ma jeszcze żadnych zabezpieczeń: w środowisku produkcyjnym ogranicz liczbę obrotów, czas trwania i koszt; zatrzymaj działanie, jeśli wywołanie zawiera oczekujące sprawdzenia bezpieczeństwa (pending_safety_checks); i weryfikuj rzeczywisty wynik, zamiast ufać tylko końcowej wiadomości modelu. Są to wytyczne bezpieczeństwa OpenAI, omówione w Lekcji 12.

Koszt jednego obrotu pętli

Każde żądanie do API Responses nalicza opłaty za tokeny wejściowe i wyjściowe, a każdy zrzut ekranu liczy się jako dane wejściowe obrazu; środowisko hostowane może być rozliczane osobno. Koszt zadania zależy zatem od liczby obrotów, rozmiaru zrzutu ekranu i modelu – i rośnie szybciej niż liczba obrotów, ponieważ nawet przy użyciu previous_response_id wszystkie tokeny wejściowe z poprzednich odpowiedzi w łańcuchu są ponownie naliczane jako dane wejściowe w każdym żądaniu. OpenAI udostępnia kalkulator kosztów obrazów i eksponuje zużycie dla każdego żądania: zmierz to na własnych przepływach pracy przed zaplanowaniem budżetu. Skrypt Selenium zawsze zrobi to samo szybciej i taniej – ale będziesz musiał go przepisać przy następnej zmianie formularza, czego agent nie wymaga.

Kluczowe wnioski

  • Pętla zadanie → akcje → zrzut ekranu jest sercem Computer Use; Twoja aplikacja wykonuje akcje
  • W przypadku OpenAI zadeklaruj narzędzie za pomocą tools=[{"type": "computer"}] w API Responses
  • computer_call przenosi uporządkowaną listę akcji (click, type, scroll, keypress itp.) do wykonania sekwencyjnie
  • Zrzut ekranu wraca do modelu w computer_call_output z tym samym call_id, połączony przez previous_response_id
  • Każdy obrót kosztuje tokeny i obraz: ogranicz liczbę obrotów i dokonaj pomiarów przed zaplanowaniem budżetu