Vyplňovanie formulárov a klikanie
Na tejto strane
Lekcia aktualizovaná 3. novembra 2026 na základe pokynov OpenAI pre potvrdenie a dokumentácie Playwright: oneskorenie pri písaní sa už neuvádza ako spôsob obchádzania detekcie botov; výber používa
ControlOrMeta+a, čo funguje aj na macOS;page.screenshot()nezobrazuje natívny dialóg na otvorenie súboru, na rozdiel od toho, čo tvrdila predchádzajúca verzia; pokyny sa odovzdávajú cez parameterinstructions. Zdroje: Potvrdenie a súhlas · Playwright, Klávesnica.
Najbežnejšia interakcia
Ak máš ovládať len jeden úkon, nech je to tento. Odoslanie kontaktnej požiadavky, vyplnenie cenovej ponuky, zadanie záznamu o zákazníkovi do CRM bez API: formuláre sú povinným kontrolným bodom pre väčšinu automatizácií. Práve tu najčastejšie zlyhávajú zle nakonfigurovaní agenti, a to z veľmi konkrétnych dôvodov, ktorým sa táto lekcia venuje jeden po druhom.
Najprv klikni, potom píš
Akcia type nepíše priamo do poľa; píše do aktuálne zameraného poľa. Na túto nuansu stačí zabudnúť len raz: bez predchádzajúceho kliknutia sa tvoj text stratí do prázdna alebo, čo je zákerné, pripojí sa k obsahu predchádzajúceho poľa. Postup je preto nemenný: kliknutie na získanie zamerania a až potom písanie.
# Vo tvojom vykonávačovi akcií
def execute_type(page, text: str):
"""Napíše text do zameraného poľa."""
page.keyboard.type(text, delay=50)
Parameter delay=50 si zaslúži pozornosť. keyboard.type už síce odosiela udalosti klávesnice znak po znaku, ale bez oneskorenia ich reťazí čo najrýchlejšie; s päťdesiatimi milisekundami medzi stlačeniami klávesov klesne rýchlosť na dvadsať znakov za sekundu. Polia, ktoré reagujú na každé stlačenie klávesu – automatické dopĺňanie, masky vstupov pre telefónne čísla – tak majú čas stíhať tempo. Toto nastavenie neslúži na to, aby si pôsobil ako človek: ak sa stránka snaží blokovať botov, vyjadruje tým vôľu, ktorú treba rešpektovať (Lekcia 14).
Pred vyplnením pole vyčisti
Vopred vyplnený formulár – obnovenie relácie, predvolená hodnota, automatické dopĺňanie prehliadača – zmení tvoj vstup na absurdnú konkatenáciu: napísanie „Novák“ po „Svoboda“ vytvorí „SvobodaNovák“ a formulár to prijme bez chyby. Pred písaním preto vyber všetok text.
def clear_and_type(page, text: str):
"""Vyberie všetok obsah v poli a potom píše."""
page.keyboard.press("ControlOrMeta+a") # Ctrl+A, alebo Cmd+A na macOS
page.keyboard.type(text, delay=50)
Model sa rozhoduje na základe promptu: pripomeň mu toto pravidlo, inak bude písať priamo do obsadeného poľa.
task = """
Vyplň kontaktný formulár:
- Pole "Meno": Novák
- Pole "Email": [email protected]
- Pole "Správa": Žiadosť o cenovú ponuku na 50 licencií
DÔLEŽITÉ: Pred písaním do každého poľa
vyber všetok existujúci text (Ctrl+A), aby si ho nahradil.
Po vyplnení všetkých polí klikni na tlačidlo Odoslať.
"""
Ponuky, začiarkavacie políčka a prepínače
Rozbaľovacia ponuka <select> si vyžaduje tri kroky: kliknutie na jej otvorenie, čakanie na zobrazenie možností a druhé kliknutie na požadovanú možnosť. Dobrou správou je, že vlastné ponuky JavaScript – tie, ktoré nie sú skutočnými prvkami <select> a robia klasickým skriptom veľké problémy – sa handledujú úplne rovnako, keďže agent vidí len vizuálne vykreslenie: klikne, v ďalšiom snímke obrazovky objaví možnosti a klikne na tú správnu.
Začiarkavacie políčka a prepínače sa zdajú byť jednoduchšie, stačí jedno kliknutie na ich aktiváciu. Pasca je však inde: začiarkavacie políčko, ktoré je už zaškrtnuté, sa kliknutím odškrtné a tvoj agent práve odvolal súhlas, ktorý mal dať. Musí teda pred konaním prečítať stav a ty ho musíš explicitne požiadať, aby to urobil. Maj tiež na pamäti, že prijatie podmienok alebo vytvorenie účtu zaväzuje osobu, pre ktorú agent pracuje: zver mu tieto akcie len vtedy, ak si to táto osoba výslovne vyžiadala.
task = """
V registračnom formulári:
1. Zaškrtni políčko "Súhlasím s podmienkami", ak nie je zaškrtnuté
2. Vyber "Firma" v type účtu
3. Klikni na "Vytvoriť účet"
Pred kliknutím over stav každého prvku.
"""
Viacobrazovkové formuláre
Registračný tunel na troch stránkach nie je trikrát ťažší ako jednoduchý formulár, ak pokyny štruktúruješ stránku po stránke a označíš prechody. Agent potom vie, kedy je sekcia dokončená a ktoré tlačidlo posúva ďalej. Príklad pracuje s fiktívnymi osobnými údajmi; pri reálnych údajoch pamätaj, že OpenAI považuje zadávanie citlivých informácií do formulára za prenos, ktorý si vyžaduje súhlas dotknutej osoby.
task = """
Vyplň 3-krokový registračný formulár:
KROK 1 - Osobné údaje:
- Meno: Ján
- Priezvisko: Novák
- Dátum narodenia: 15.03.1985
→ Klikni na "Ďalej"
KROK 2 - Kontaktné údaje:
- Email: [email protected]
- Telefón: 0901 234 567
- Adresa: Hlavná 12, 811 01 Bratislava
→ Klikni na "Ďalej"
KROK 3 - Potvrdenie:
- Over, či sú všetky údaje správne
- Zaškrtni "Súhlasím s podmienkami používania"
→ Klikni na "Potvrdiť"
"""
Reakcia na chyby pri validácii
Neplatný formát telefónneho čísla, chýbajúce povinné pole, heslo považované za príliš krátke: formulár vráti správu a čaká na opravu. Presne tu Computer Use prekonáva skript, keďže agent vie prečítať zobrazenú chybu namiesto toho, aby o ňu zakopol. Stále ho však musíš požiadať, aby hľadal chyby, a ohraničiť jeho pokusy, aby ho definitívne zamietnuté pole nedostalo do nekonečnej slučky. Tieto pravidlá patria do parametra instructions, ktorý sa vracia s každou požiadavkou (Lekcia 5).
INSTRUCTIONS = """
Po odoslaní formulára:
1. Urob snímku obrazovky, aby si videl výsledok
2. Ak sa objavia chybové správy (červené, v rámčeku),
prečítaj ich a oprav príslušné polia
3. Odoslať formulár znova
4. Opakuj, kým nie je formulár prijatý
alebo kým si neuskutočnil 3 pokusy
"""
Nahrávanie súborov, špeciálny prípad
Existuje jeden limit, ktorý žiadny prompt neprekročí: dialóg na otvorenie súboru patrí operačnému systému, nie stránke. Agent ho ani nevidí – page.screenshot() zachytáva len obsah stránky – a súradnice, ktoré vygeneruje, platia pre stránku, nie pre natívne okno. Odovzdaj operáciu Playwrightu, ktorý tento dialóg úplne obíde.
def handle_file_upload(page, file_path: str, selector: str):
"""Nahraje súbor cez Playwright (nie cez Computer Use)."""
page.locator(selector).set_input_files(file_path)
Môžeš tiež nechať agenta kliknúť na „Prehľadávať“ ako používateľ a zachytiť výber súboru v momente, keď sa otvorí: workflow zostáva od začiatku do konca prirodzený, pričom systémová časť sa vybaví na pozadí. V oboch prípadoch súbor vyberá tvoj kód, nikdy nie model; a odosielanie súborov patrí medzi akcie, ktoré ti OpenAI umožňuje vopred schváliť v počiatočnej požiadavke, alebo inak potvrdiť.
# Agent klikne na "Prehľadávať", potom ty zachytíš udalosť
page.on("filechooser", lambda fc: fc.set_files("/cesta/k/suboru.pdf"))
Kľúčové poznatky
- Pred písaním do poľa vždy najprv klikni
- Na vyčistenie poľa pred písaním použi
Ctrl+A(ControlOrMeta+av Playwright) - Rozbaľovacie ponuky si vyžadujú kliknutie na otvorenie a následne kliknutie na výber
- V prompte naplánuj ošetrenie chýb pri validácii
- Nahrávanie súborov musí riešiť Playwright, nie Computer Use