Czym jest Computer Use
Na tej stronie
Lekcja zaktualizowana 3 listopada 2026 r. na podstawie przewodnika Computer use od OpenAI: ten kurs opiera się teraz na narzędziu
computerw API Responses, zastępując poprzednie podejście przez API Anthropic. Sekcja dotycząca uczestników ekosystemu obejmuje obie ścieżki udokumentowane przez OpenAI (wykonywanie kodu, zalecane dla GPT-6 Astra, oraz narzędziecomputer). Usunęliśmy twierdzenia o produktach konkurencji, które nie miały potwierdzenia w źródłach. Źródło: Computer use.
Nowy sposób interakcji z maszynami
Przez lata modele językowe pozostawały wyłącznie tekstowymi rozmówcami: zadawałeś pytanie, otrzymywałeś odpowiedź, a wszystko, co wymagało działania w rzeczywistym świecie, spadało na Ciebie. Computer Use burzy tę barierę. Model widzi ekran i decyduje, jakie gesty wykonać – kliknięcie, wpisanie tekstu, przewijanie, przełączanie aplikacji – a Twoja aplikacja wykonuje te działania w jego imieniu.
Ta zmiana sięga głębiej, niż się wydaje. Tradycyjna automatyzacja kurczowo trzyma się technicznych kotwic: selektora CSS, identyfikatora DOM lub API, które dostawca oprogramowania udostępnił. Gdy zespół front-endu zmieni nazwę klasy, skrypt staje w miejscu i często nikt nie zauważa problemu, dopóki następnego dnia nie pojawi się pusty raport. Dzięki Computer Use wydajesz polecenie w języku naturalnym, a AI nawiguje po interfejsie dokładnie tak, jak robi to człowiek. Przycisk „Wyślij“ przesunięty o kilka centymetrów lub zmieniony na zielony nadal pozostaje przyciskiem „Wyślij“.
Pętla, która to umożliwia
Mechanizm działa w pięciu krokach, a to ich powtarzanie nadaje mu siłę:
- Twoja aplikacja przechwytuje obraz ekranu lub okna przeglądarki
- Model analizuje obraz, aby zrozumieć, co widzi
- Podejmuje decyzję o jednej lub kilku akcjach (kliknięcie, naciśnięcie klawisza, przewinięcie)
- Twoja aplikacja wykonuje te akcje na maszynie
- Nowy przechwycony obraz wraca do modelu i pętla zaczyna się od nowa
Ta pętla percepcja-działanie stanowi sedno systemu. Rozważmy typowy scenariusz: Twój agent musi wypełnić formularz kontaktowy, ale podczas ładowania wyskakuje nad nim baner cookie. Skrypt Selenium, który tego nie przewidział, klika w pustą przestrzeń i zgłasza błąd trudny do zinterpretowania. Agent Computer Use widzi jednak baner na zrzucie ekranu, radzi sobie z nim, wykonuje kolejny przechwyt i ponownie znajduje formularz. Nie recytuje sztywnego planu; przy każdej iteracji na nowo ocenia sytuację.
Co tak naprawdę automatyzujemy
Głównym przypadkiem użycia są testy end-to-end. Opisujesz ścieżkę do weryfikacji – „zaloguj się, dodaj produkt do koszyka, przejdź do kasy“ – a agent odgrywa ją jak użytkownik, bez konieczności utrzymywania biblioteki selektorów, które tracą ważność przy każdej zmianie wyglądu strony.
Kolejnym zastosowaniem jest RPA, czyli automatyzacja powtarzalnych zadań w oprogramowaniu pozbawionym API: przestarzały wewnętrzny system ERP, ekstranet dostawcy lub aplikacja biznesowa z lat 2000., której producent już nie istnieje. Tam, gdzie integracja techniczna jest niemożliwa, agent pracuje przez ekran, dokładnie tak jak pracownik, który kiedyś ręcznie przepisywał dane.
Scraping staje się również dostępny na dynamicznych stronach, które opierają się tradycyjnym ekstraktorom, ponieważ agent odczytuje wyrenderowaną stronę, a nie surowy kod HTML. Przepływy pracy obejmujące wiele aplikacji – pobieranie zamówienia z CRM, wprowadzanie go do arkusza kalkulacyjnego, wysyłanie e-maila potwierdzającego – łączą się w jednej sesji. Ta sama zdolność służy wsparciu użytkowników: zamiast wyjaśniać, gdzie kliknąć, agent faktycznie nawiguje po interfejsie.
Uczestnicy rynku w 2026 roku
Ten kurs podąża za ofertą OpenAI, która w API Responses otwiera dwie ścieżki. Przy wykonywaniu kodu model pisze skrypt – na przykład w Playwright lub PyAutoGUI – który Twoje izolowane środowisko wykonuje, zanim zwróci wynik i zrzuty ekranu; pojedyncze wywołanie może następnie łączyć pętle i warunki, co czyni tę ścieżkę tą zalecaną przez OpenAI dla GPT-6 Astra. Przy użyciu narzędzia computer model zwraca ustrukturyzowane akcje myszy i klawiatury, które Twoja aplikacja tłumaczy na gesty; narzędzie to jest nadal wspierane i to jego będziesz używać w tym kursie, ponieważ eksponuje pętlę w jej surowej formie. Zestawy SDK od OpenAI dostarczają również gotowe funkcje pomocnicze (ComputerToolset, BrowserToolset), które zarządzają tą pętlą za Ciebie.
Inni dostawcy, w szczególności Anthropic, oferują porównywalne narzędzie we własnym API, ale z innym formatem wymiany danych: kod z tego kursu nie przenosi się bezpośrednio, jednak zasady – pętla, menedżer akcji, izolacja, potwierdzenie przez człowieka – pozostają takie same.
Co zyskujesz, a co tracisz
| Kryterium | Klasyczne skrypty | Computer Use |
|---|---|---|
| Interfejs | API lub selektory DOM | Wizualny (zrzuty ekranu) |
| Łamliwość | Zawodzi przy zmianach UI | Dostosowuje się wizualnie |
| Złożoność | Kod specyficzny dla strony | Instrukcje w języku naturalnym |
| Szybkość | Szybkie | Wolniejsze (pętla ze zrzutami) |
Traktuj tę tabelę jako przedstawienie kompromisu, a nie rankingu. Wymieniasz czystą szybkość na odporność i niemal zerowe koszty utrzymania. Przy pięćdziesięciu tysiącach codziennych wykonań na stabilnej stronie, nad której kodem HTML panujesz, skrypt pozostaje właściwym wyborem. Dla ścieżek modyfikowanych co miesiąc lub dla oprogramowania bez API szala przechyla się stanowczo na drugą stronę – a ten kurs uczy Cię radzenia sobie właśnie z tym drugim przypadkiem.
Kluczowe wnioski
- Computer Use pozwala AI widzieć i kontrolować ekran poprzez pętlę zrzut ekranu–akcja
- To odmienny paradygmat niż klasyczne skrypty: bardziej odporny, ale wolniejszy
- Główne przypadki użycia to testy E2E, RPA, scraping i przepływy pracy obejmujące wiele aplikacji
- OpenAI oferuje dwie ścieżki: wykonywanie kodu (zalecane dla GPT-6 Astra) oraz narzędzie
computer, używane w tym kursie