Vyplňování formulářů a klikání
Na této stránce
Lekce aktualizována 3. listopadu 2026 na základě pokynů pro potvrzení od OpenAI a dokumentace Playwright: zpoždění při psaní již není prezentováno jako způsob obcházení detekce botů; výběr používá
ControlOrMeta+a, což funguje i na macOS;page.screenshot()nezobrazuje nativní dialogové okno pro otevření souboru, na rozdíl od toho, co tvrdila předchozí verze; pokyny jsou předávány prostřednictvím parametruinstructions. Zdroje: Potvrzení a souhlas · Playwright, Klávesnice.
Nejčastější interakce
Pokud máš zvládnout jen jeden úkon, ať je to právě tenhle. Odeslání kontaktního požadavku, vyplnění poptávkového listu nebo zadání záznamu o zákazníkovi do CRM bez API: formuláře jsou povinným kontrolním bodem pro většinu automatizací. Právě zde také nejčastěji selhávají špatně nakonfigurovaní agenti, a to z velmi konkrétních důvodů, kterými se tato lekce postupně zabývá.
Nejdříve klikni, pak piš
Akce type nepíše do pole; píše do právě aktivního pole. Na tuto nuanci stačí zapomenout jen jednou: bez předchozího kliknutí skončí tvůj text v prázdnu nebo, což je zákeřnější, se připojí za obsah předchozího pole. Sekvence je proto neměnná: nejprve kliknutím aktivovat pole, poté psát.
# Ve tvém vykonávači akcí
def execute_type(page, text: str):
"""Napíše text do aktivního pole."""
page.keyboard.type(text, delay=50)
Parametr delay=50 si zaslouží pozornost. keyboard.type již odesílá klávesové události znak po znaku, ale bez zpoždění je řadí za sebou co nejrychleji; s padesáti milisekundami mezi stisky kláves klesne rychlost na dvacet znaků za sekundu. Pole, která reagují na každý stisk – automatické doplňování, vstupní masky pro telefonní čísla – tak mají čas stíhat. Toto nastavení neslouží k tomu, aby sis hrál na člověka: pokud se stránka snaží blokovat boty, vyjadřuje tím vůli, kterou je třeba respektovat (Lekce 14).
Před vyplněním pole ho vymaž
Předvyplněný formulář – obnovení relace, výchozí hodnota, automatické doplňování prohlížeče – změní tvůj vstup v absurdní spojení: napsání „Novák“ po „Svoboda“ vytvoří „SvobodaNovák“ a formulář to přijme bez chyby. Před psaním tedy vše vyber.
def clear_and_type(page, text: str):
"""Vybere celý obsah pole a poté napíše text."""
page.keyboard.press("ControlOrMeta+a") # Ctrl+A, nebo Cmd+A na macOS
page.keyboard.type(text, delay=50)
Model se rozhoduje na základě promptu: připomeň mu toto pravidlo, jinak bude psát přímo do obsazeného pole.
task = """
Vyplň kontaktní formulář:
- Pole "Jméno": Novák
- Pole "Email": [email protected]
- Pole "Zpráva": Poptávka na 50 licencí
DŮLEŽITÉ: Před psaním do každého pole
vyber celý existující text (Ctrl+A), abys jej nahradil.
Po vyplnění všech polí klikni na tlačítko Odeslat.
"""
Nabídky, zaškrtávací políčka a přepínače
Rozbalovací nabídka <select> vyžaduje tři kroky: kliknutí pro její otevření, čekání na zobrazení možností a druhé kliknutí na požadovanou možnost. Dobrou zprávou je, že vlastní nabídky v JavaScriptu – ty, které nejsou skutečnými prvky <select> a dělají klasickým skriptům velké potíže – se obsluhují úplně stejně, protože agent vidí pouze vizuální výstup: klikne, v dalším snímku obrazovky objeví možnosti a klikne na tu správnou.
Zaškrtávací políčka a přepínače se zdají jednodušší, stačí jedno kliknutí k jejich aktivaci. Past však číhá jinde: zaškrtávací políčko, které je již zaškrtnuté, se kliknutím odškrtne a tvůj agent právě zrušil souhlas, který měl udělit. Musí tedy před akcí přečíst stav a ty ho musíš explicitně požádat, aby to udělal. Měj také na paměti, že přijetí podmínek nebo vytvoření účtu zavazuje osobu, pro kterou agent pracuje: svěř mu tyto akce pouze tehdy, pokud si to tato osoba výslovně přála.
task = """
V registračním formuláři:
1. Zaškrtni políčko "Souhlasím s podmínkami", pokud není zaškrtnuté
2. Vyber "Firma" jako typ účtu
3. Klikni na "Vytvořit účet"
Před kliknutím ověř stav každého prvku.
"""
Vícestránkové formuláře
Registrační tunel o třech stránkách není třikrát obtížnější než jednoduchý formulář, pokud strukturuješ pokyny stránku po stránce a označíš přechody. Agent pak ví, kdy je sekce dokončena a které tlačítko posune proces dál. Příklad pracuje s fiktivními osobními údaji; u reálných dat měj na paměti, že OpenAI považuje zadávání citlivých informací do formuláře za přenos, který vyžaduje souhlas dotčené osoby.
task = """
Vyplň 3krokový registrační formulář:
KROK 1 - Osobní údaje:
- Jméno: Jan
- Příjmení: Novák
- Datum narození: 15. 3. 1985
→ Klikni na "Další"
KROK 2 - Kontaktní údaje:
- Email: [email protected]
- Telefon: 601 234 567
- Adresa: Mírové náměstí 12, 110 00 Praha
→ Klikni na "Další"
KROK 3 - Potvrzení:
- Ověř, že všechny údaje jsou správné
- Zaškrtni "Souhlasím s podmínkami služby"
→ Klikni na "Potvrdit"
"""
Reakce na chyby při validaci
Neplatný formát telefonu, chybějící povinné pole, heslo považované za příliš krátké: formulář vrátí chybovou zprávu a čeká na opravu. Přesně zde Computer Use překonává obyčejný skript, protože agent umí přečíst zobrazenou chybu místo toho, aby o ni zakopl. Stále však musíš požádat, aby chyby hledal, a omezit počet pokusů, aby se u definitivně zamítnutého pole nezacyklil do nekonečna. Tato pravidla patří do parametru instructions, který se vrací s každým požadavkem (Lekce 5).
INSTRUCTIONS = """
Po odeslání formuláře:
1. Pořiď snímek obrazovky a zkontroluj výsledek
2. Pokud se objeví chybové zprávy (červeně, v rámečku),
přečti je a oprav příslušná pole
3. Odešli formulář znovu
4. Opakuj, dokud není formulář přijat
nebo dokud neprovedeš 3 pokusy
"""
Nahrávání souborů, speciální případ
Existuje jeden limit, který žádný prompt nepřekročí: dialogové okno pro otevření souboru patří operačnímu systému, nikoli stránce. Agent ho ani nevidí – page.screenshot() zachytí pouze obsah stránky – a souřadnice, které generuje, platí pro stránku, nikoli pro nativní okno. Předěj tuto operaci knihovně Playwright, která toto dialogové okno zcela obejde.
def handle_file_upload(page, file_path: str, selector: str):
"""Nahraje soubor prostřednictvím Playwright (ne přes Computer Use)."""
page.locator(selector).set_input_files(file_path)
Můžeš také nechat agenta kliknout na “Procházet” jako uživatel a zachytit výběr souboru v okamžiku, kdy se otevře: workflow zůstává od začátku do konce přirozené, přičemž systémová část je vyřízena na pozadí. V obou případech vybírá soubor tvůj kód, nikdy model; a odesílání souborů patří mezi akce, které ti OpenAI umožňuje předem schválit v počátečním požadavku, nebo je jinak potvrdit.
# Agent klikne na "Procházet", ty pak zachytíš událost
page.on("filechooser", lambda fc: fc.set_files("/cesta/k/souboru.pdf"))
Klíčové poznatky
- Před psaním do pole na něj vždy klikni
- Před psaním vymaž obsah pole pomocí
Ctrl+A(ControlOrMeta+av Playwright) - Rozbalovací nabídky vyžadují jedno kliknutí pro otevření a druhé pro výběr
- Do promptu zahrň plán pro řešení chyb při validaci
- Nahrávání souborů musí řešit Playwright, nikoli Computer Use