Architektura: Zrzuty ekranu, akcje i pętla interakcji
Na tej stronie
Lekcja przepisana 3 listopada 2026 r. na podstawie przewodnika Computer use firmy OpenAI oraz przepisów integracyjnych Computer use: Kurs ten wcześniej opierał się na API Anthropic (
import anthropic, narzędziecomputer_20241022). Obecnie wykorzystuje narzędziecomputerz API Responses firmy OpenAI, gdzie akcje są grupowane wcomputer_call, a zrzuty ekranu zwracane są przezcomputer_call_output. Usunęliśmy niesprawdzone liczby tokenów i szacunki czasu trwania z poprzedniej wersji. Źródła: Computer use · Przepisy integracyjne.
Pętla percepcja-akcja
Cała architektura Computer Use sprowadza się do jednego cyklu: obserwuj → decyduj → działaj → obserwuj. Dopóki ten cykl nie będzie dla Ciebie jasny, Twoje automatyzacje będą zawodne; gdy tylko to zrozumiesz, reszta to tylko kwestia połączeń technicznych.
Różnica w stosunku do skryptu Selenium polega na tym, gdzie znajduje się wiedza. Selenium ślepo wykonuje wcześniej ustaloną sekwencję: kliknij tutaj, potem tam, następnie wpisz to. Computer Use wybiera kolejny krok dopiero po zobaczeniu wyniku poprzedniego. Pojawi się wyskakujące okienko, strona ładuje się dłużej lub etykieta przycisku zmieni się z dnia na dzień: we wszystkich trzech przypadkach model widzi rzeczywistą sytuację i się dostosowuje, podczas gdy skrypt nadal recytuje swoje instrukcje w próżnię.
Dzięki narzędziu computer firmy OpenAI wymiana danych odbywa się w trzech krokach: wysyłasz zadanie, wykonujesz akcje zwrócone przez model, a następnie odsyłasz zrzut ekranu. Twoja aplikacja obsługuje mysz i klawiaturę; model podejmuje jedynie decyzje.
Punkt wyjścia: zrzut ekranu
Każdy obrót pętli opiera się na obrazie aktualnego stanu ekranu. Zrzut ten pochodzi z przeglądarki sterowanej przez Playwright – najczęstszy przypadek w automatyzacji sieci – z wirtualnego pulpitu podczas automatyzacji aplikacji desktopowej lub z kontenera Docker izolującego agenta. OpenAI zaleca używanie izolowanej przeglądarki lub maszyny wirtualnej we wszystkich przypadkach.
import base64
def capture_screen(page) -> str:
"""Zrób zrzut ekranu za pomocą Playwright i zwróć obraz PNG jako base64."""
return base64.b64encode(page.screenshot()).decode("utf-8")
Zrzut ekranu wraca do modelu jako URL danych PNG. Liczy się on jako dane wejściowe obrazu, więc wpływa na koszt każdego obrotu: rozmiar okna, który przechwytujesz, jest rzeczywistym parametrem projektowym.
Analiza i decyzja
Model otrzymuje zadanie, historię rozmowy i najnowszy zrzut ekranu. Jego odpowiedzią nie jest zdanie, ale element computer_call, który zawiera uporządkowaną listę akcji do wykonania. Oto przykład z dokumentacji OpenAI, który wybiera pole wyszukiwania, a następnie wpisuje słowo:
{
"type": "computer_call",
"call_id": "call_002",
"actions": [
{ "type": "click", "button": "left", "x": 405, "y": 157 },
{ "type": "type", "text": "penguin" }
],
"status": "completed"
}
Dwa szczegóły mają znaczenie. Pierwsze wywołanie może zawierać tylko akcję screenshot: model prosi o zobaczenie ekranu przed działaniem, a Ty zwracasz zrzut ekranu bez wprowadzania zmian. Ponadto status: "completed" oznacza, że model zakończył generowanie wywołania, a nie że akcje zostały wykonane: to do Ciebie należy ich realizacja.
Repertuar akcji
Słownik dostępny dla modelu jest celowo ograniczony; w połączeniu te prymitywy pokrywają większość czynności, które człowiek wykonuje za pomocą myszy i klawiatury.
| Akcja | Opis | Pola |
|---|---|---|
click | Kliknięcie w pozycji | x, y, button (left, right, wheel, back, forward) |
double_click | Podwójne kliknięcie | x, y |
drag | Przeciąganie wzdłuż ścieżki | path (lista punktów) |
move | Przesunięcie wskaźnika | x, y |
scroll | Przewijanie | x, y, scroll_x, scroll_y |
keypress | Klawisz lub kombinacja | keys (np. ["CTRL", "A"]) |
type | Wpisanie tekstu | text |
wait | Oczekiwanie na załadowanie strony | — |
screenshot | Żądanie nowego zrzutu ekranu | — |
Pełny przepływ
Złożone razem, te elementy tworzą następującą pętlę, wzorowaną na dokumentacji OpenAI. Dopóki odpowiedź zawiera computer_call, wykonujesz jej akcje, przechwytujesz ekran i zwracasz zrzut ekranu w computer_call_output, który ponownie używa tego samego call_id; previous_response_id łączy każdy obrót z poprzednim.
from openai import OpenAI
client = OpenAI()
def computer_use_loop(page, task: str):
"""Pętla Computer Use z narzędziem computer z API Responses."""
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input=task,
)
while True:
call = next(
(item for item in response.output if item.type == "computer_call"),
None,
)
if call is None:
return response.output_text # brak dalszych żądanych akcji: zadanie zakończone
execute_actions(page, call.actions) # Twój obsłużnik akcji (Lekcja 4)
screenshot = capture_screen(page)
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
previous_response_id=response.id,
input=[{
"type": "computer_call_output",
"call_id": call.call_id,
"output": {
"type": "computer_screenshot",
"image_url": f"data:image/png;base64,{screenshot}",
"detail": "original",
},
}],
)
Ta pętla nie ma jeszcze żadnych zabezpieczeń: w środowisku produkcyjnym ogranicz liczbę obrotów, czas trwania i koszt; zatrzymaj działanie, jeśli wywołanie zawiera oczekujące sprawdzenia bezpieczeństwa (pending_safety_checks); i weryfikuj rzeczywisty wynik, zamiast ufać tylko końcowej wiadomości modelu. Są to wytyczne bezpieczeństwa OpenAI, omówione w Lekcji 12.
Koszt jednego obrotu pętli
Każde żądanie do API Responses nalicza opłaty za tokeny wejściowe i wyjściowe, a każdy zrzut ekranu liczy się jako dane wejściowe obrazu; środowisko hostowane może być rozliczane osobno. Koszt zadania zależy zatem od liczby obrotów, rozmiaru zrzutu ekranu i modelu – i rośnie szybciej niż liczba obrotów, ponieważ nawet przy użyciu previous_response_id wszystkie tokeny wejściowe z poprzednich odpowiedzi w łańcuchu są ponownie naliczane jako dane wejściowe w każdym żądaniu. OpenAI udostępnia kalkulator kosztów obrazów i eksponuje zużycie dla każdego żądania: zmierz to na własnych przepływach pracy przed zaplanowaniem budżetu. Skrypt Selenium zawsze zrobi to samo szybciej i taniej – ale będziesz musiał go przepisać przy następnej zmianie formularza, czego agent nie wymaga.
Kluczowe wnioski
- Pętla zadanie → akcje → zrzut ekranu jest sercem Computer Use; Twoja aplikacja wykonuje akcje
- W przypadku OpenAI zadeklaruj narzędzie za pomocą
tools=[{"type": "computer"}]w API Responses computer_callprzenosi uporządkowaną listę akcji (click,type,scroll,keypressitp.) do wykonania sekwencyjnie- Zrzut ekranu wraca do modelu w
computer_call_outputz tym samymcall_id, połączony przezprevious_response_id - Każdy obrót kosztuje tokeny i obraz: ogranicz liczbę obrotów i dokonaj pomiarów przed zaplanowaniem budżetu