Wypełnianie formularzy i klikanie
Na tej stronie
Lekcja zaktualizowana 3 listopada 2026 r. zgodnie z wytycznymi potwierdzenia od OpenAI oraz dokumentacją Playwright: opóźnienie wpisywania nie jest już prezentowane jako sposób na obejście wykrywania botów; zaznaczanie używa
ControlOrMeta+a, co działa również na macOS;page.screenshot()nie pokazuje natywnego okna dialogowego otwierania pliku, wbrew temu, co twierdziła poprzednia wersja; wytyczne są przekazywane przez parametrinstructions. Źródła: Potwierdzenie i zgoda · Playwright, Klawiatura.
Najczęstsza interakcja
Jeśli masz opanować tylko jeden gest, niech to będzie ten. Wysyłanie zapytania kontaktowego, wypełnianie wyceny, wprowadzanie rekordu klienta do CRM bez API: formularze są obowiązkowym punktem kontrolnym dla większości automatyzacji. To właśnie tutaj źle skonfigurowane agenty zawodzą najczęściej, z bardzo konkretnych powodów, które ta lekcja omawia po kolei.
Kliknij przed wpisaniem tekstu
Akcja type nie zapisuje tekstu w polu; zapisuje go w aktualnie aktywnym polu. Zapomnienie o tym niuansie choć raz wystarczy: bez wcześniejszego kliknięcia Twój tekst trafi w próżnię lub, co bardziej podstępne, zostanie dopisany do poprzedniego pola. Sekwencja jest zatem niezmienna: kliknięcie w celu aktywacji, a następnie wpisanie tekstu.
# W Twoim wykonawcy akcji
def execute_type(page, text: str):
"""Wpisuje tekst w aktywnym polu."""
page.keyboard.type(text, delay=50)
Parametr delay=50 zasługuje na uwagę. keyboard.type już wysyła zdarzenia klawiaturowe znak po znaku, ale bez opóźnienia łączy je tak szybko, jak to możliwe; przy pięćdziesięciu milisekundach między naciśnięciami klawiszy szybkość spada do dwudziestu znaków na sekundę. Pola reagujące na każde naciśnięcie klawisza – autouzupełnianie, maski wprowadzania numeru telefonu – mają dzięki temu czas na nadążenie. To ustawienie nie służy udawaniu człowieka: strona chcąca blokować boty wyraża wolę, którą należy uszanować (Lekcja 14).
Wyczyść pole przed wypełnieniem go
Formularz z wstępnie wypełnionymi danymi – wznowienie sesji, wartość domyślna, autouzupełnianie przeglądarki – zamieni Twoje dane w absurdalną konkatenację: wpisanie „Dupont“ po „Martin“ da wynik „MartinDupont“, a formularz przyjmie to bez błędu. Przed wpisaniem tekstu zaznacz całą zawartość.
def clear_and_type(page, text: str):
"""Zaznacza całą zawartość w polu, a następnie wpisuje tekst."""
page.keyboard.press("ControlOrMeta+a") # Ctrl+A lub Cmd+A na macOS
page.keyboard.type(text, delay=50)
Model decyduje o swoich działaniach na podstawie promptu: przypomnij mu o tej regule, inaczej zacznie wpisywać tekst bezpośrednio w zajęte pole.
task = """
Wypełnij formularz kontaktowy:
- Pole „Imię i nazwisko“: Dupont
- Pole „E-mail“: [email protected]
- Pole „Wiadomość“: Prośba o wycenę dla 50 licencji
WAŻNE: Przed wpisaniem tekstu w każdym polu
zaznacz cały istniejący tekst (Ctrl+A), aby go zastąpić.
Po wypełnieniu wszystkich pól kliknij przycisk Wyślij.
"""
Menu, pola wyboru i przyciski opcji
Rozwijane menu <select> wymaga trzech kroków: kliknięcia, aby je otworzyć, oczekiwania na pojawienie się opcji i drugiego kliknięcia na wybraną opcję. Dobra wiadomość jest taka, że niestandardowe menu JavaScript – te, które nie są prawdziwymi elementami <select> i sprawiają klasycznym skryptom tyle problemów – obsługuje się dokładnie tak samo, ponieważ agent widzi tylko renderowanie wizualne: klika, odkrywa opcje na następnym zrzucie ekranu i klika właściwą.
Pola wyboru (checkbox) i przyciski opcji (radio) wydają się prostsze, wystarczy jedno kliknięcie, aby je aktywować. Pułapka leży gdzie indziej: pole wyboru, które jest już zaznaczone, po kliknięciu zostanie odznaczone, a Twój agent właśnie cofnie zgodę, którą miał wyrazić. Musi więc najpierw odczytać stan przed działaniem, a Ty musisz wyraźnie poprosić go o zrobienie tego. Pamiętaj również, że akceptacja regulaminu lub tworzenie konta zobowiązuje osobę, na rzecz której pracuje agent: powierzaj mu te działania tylko wtedy, gdy osoba ta wyraźnie o to poprosiła.
task = """
W formularzu rejestracyjnym:
1. Zaznacz pole „Akceptuję regulamin“, jeśli nie jest zaznaczone
2. Wybierz „Firma“ w typie konta
3. Kliknij „Utwórz konto“
Zweryfikuj stan każdego elementu PRZED kliknięciem.
"""
Formularze wieloekranowe
Trzyetapowy tunel rejestracyjny nie jest trzykrotnie trudniejszy niż prosty formularz, pod warunkiem że ustrukturyzujesz instrukcje strona po stronie i oznaczysz przejścia. Agent wie wtedy, kiedy sekcja została zakończona i który przycisk prowadzi do następnej. Przykład dotyczy fikcyjnych danych osobowych; w przypadku danych rzeczywistych pamiętaj, że OpenAI uważa wprowadzanie danych wrażliwych do formularza za transmisję, wymagającą zgody osoby zainteresowanej.
task = """
Wypełnij 3-etapowy formularz rejestracyjny:
KROK 1 – Dane osobowe:
- Imię: Jean
- Nazwisko: Dupont
- Data urodzenia: 15.03.1985
→ Kliknij „Dalej“
KROK 2 – Dane kontaktowe:
- E-mail: [email protected]
- Telefon: 06 12 34 56 78
- Adres: 12 rue de la Paix, 75002 Paris
→ Kliknij „Dalej“
KROK 3 – Potwierdzenie:
- Sprawdź, czy wszystkie informacje są poprawne
- Zaznacz „Akceptuję Regulamin świadczenia usług“
→ Kliknij „Zatwierdź“
"""
Reagowanie na błędy walidacji
Odrzucony format telefonu, brakujące wymagane pole, hasło uznane za zbyt krótkie: formularz zwraca komunikat i czeka na poprawkę. To właśnie tutaj Computer Use przewyższa skrypt, ponieważ agent potrafi odczytać wyświetlony błąd, zamiast się o niego potknąć. Nadal musisz poprosić go o szukanie błędów i ograniczyć liczbę prób, aby definitywnie odrzucone pole nie wprowadziło go w nieskończoną pętlę. Te zasady trafiają do parametru instructions, zwracanego z każdym żądaniem (Lekcja 5).
INSTRUCTIONS = """
Po wysłaniu formularza:
1. Zrób zrzut ekranu, aby zobaczyć wynik
2. Jeśli pojawią się komunikaty o błędach (na czerwono, w ramce),
odczytaj je i popraw odpowiednie pola
3. Wyślij formularz ponownie
4. Powtarzaj, aż formularz zostanie zaakceptowany
lub wykonasz 3 próby
"""
Przesyłanie plików, przypadek szczególny
Istnieje jedno ograniczenie, którego żaden prompt nie przekroczy: okno dialogowe otwierania pliku należy do systemu operacyjnego, a nie do strony. Agent go nawet nie widzi – page.screenshot() przechwytuje tylko zawartość strony – a wygenerowane przez niego współrzędne odnoszą się do strony, a nie do natywnego okna. Przekaż tę operację do Playwright, który całkowicie pomija to okno dialogowe.
def handle_file_upload(page, file_path: str, selector: str):
"""Przesyła plik przez Playwright (nie przez Computer Use)."""
page.locator(selector).set_input_files(file_path)
Możesz też pozwolić agentowi kliknąć „Przeglądaj“ jak użytkownik i przechwycić selektor plików w momencie jego otwarcia: przepływ pracy pozostaje naturalny od początku do końca, przy czym część systemowa jest obsługiwana w tle. W obu przypadkach to Twój kod wybiera plik, nigdy model; wysyłanie plików należy do działań, które OpenAI pozwala Ci wstępnie zatwierdzić w początkowym żądaniu lub potwierdzić w inny sposób.
# Agent klika „Przeglądaj“, a Ty przechwytujesz zdarzenie
page.on("filechooser", lambda fc: fc.set_files("/path/to/file.pdf"))
Kluczowe wnioski
- Zawsze kliknij pole przed wpisaniem w niego tekstu
- Użyj
Ctrl+A(ControlOrMeta+aw Playwright), aby wyczyścić pole przed wpisaniem tekstu - Menu rozwijane wymagają kliknięcia, aby je otworzyć, a następnie kliknięcia, aby wybrać opcję
- Zaplanuj obsługę błędów walidacji w prompcie
- Przesyłanie plików musi być obsługiwane przez Playwright, a nie przez Computer Use