Izpolnjevanje obrazcev in klikanje
Na tej strani
Lekcija posodobljena 3. novembra 2026 na podlagi smernic za potrditev podjetja OpenAI in dokumentacije Playwright: zamik pri tipkanju se ne obravnava več kot način za obhod zaznavanja botov; izbira uporablja
ControlOrMeta+a, kar deluje tudi na macOS;page.screenshot()ne prikaže sistemskega pogovornega okna za odpiranje datotek, kar je nasprotno trditvam prejšnje različice; smernice se posredujejo prek parametrainstructions. Viri: Potrditev in soglasje · Playwright, Tipkovnica.
Najpogostejša interakcija
Če obvladaš samo eno gesto, naj bo to ta. Oddaja kontaktnega povpraševanja, izpolnjevanje ponudbe, vnos zapisa stranke v CRM brez API-ja: obrazci so obvezna kontrolna točka za večino avtomatizacij. Prav tukaj tudi najpogosteje odpovejo slabo konfigurirani agenti, in to iz zelo konkretnih razlogov, ki jih ta lekcija obravnava enega za drugim.
Klik pred tipkanjem
Akcija type ne piše v polje; piše v trenutno fokusirano polje. To nianso pozabiš samo enkrat: brez predhodnega klika tvoje besedilo izgine v praznino ali, kar je še bolj zahrbtno, se doda na konec prejšnjega polja. Zaporedje je zato nespremenljivo: klik za fokus, nato tipkanje.
# V tvojem izvrševalniku akcij
def execute_type(page, besedilo: str):
"""Vpiše besedilo v fokusirano polje."""
page.keyboard.type(besedilo, delay=50)
Parameter delay=50 si zasluži pozornost. keyboard.type že tako pošilja dogodke tipkovnice znak za znakom, vendar brez zamika to stori čim hitreje; s petdesetimi milisekundami med pritiski tipk se hitrost zmanjša na dvajset znakov na sekundo. Polja, ki reagirajo na vsak pritisk tipke – samodejno dopolnjevanje, maske za vnos telefonskih številk – tako dobijo čas, da sledijo. Ta nastavitev ni namenjena pretvarjanju, da si človek: če spletno mesto želi blokirate bote, izraža voljo, ki jo je treba spoštovati (lekcija 14).
Počisti polje pred izpolnjevanjem
Predizpolnjen obrazec – nadaljevanje seje, privzeta vrednost, samodejno dopolnjevanje brskalnika – tvoje vnose spremeni v absurdno združevanje: tipkanje „Dupont” za „Martin” da rezultat „MartinDupont”, obrazec pa to sprejme brez napake. Pred tipkanjem izberi vse besedilo.
def clear_and_type(page, besedilo: str):
"""Izbere vso vsebino v polju, nato tipka."""
page.keyboard.press("ControlOrMeta+a") # Ctrl+A ali Cmd+A na macOS
page.keyboard.type(besedilo, delay=50)
Model se odloča za svoja dejanja na podlagi poziva: opomni ga na to pravilo, sicer bo tipkal neposredno v zasedeno polje.
naloga = """
Izpolni kontaktni obrazec:
- Polje "Ime": Dupont
- Polje "E-pošta": [email protected]
- Polje "Sporočilo": Povpraševanje za ponudbo za 50 licenc
POMEMBNO: Pred tipkanjem v vsako polje
izberi vse obstoječe besedilo (Ctrl+A), da ga nadomestiš.
Ko izpolniš vsa polja, klikni gumb Pošlji.
"""
Meniji, potrditvena polja in izbirni gumbi
Spustni meni <select> zahteva tri korake: klik za odpiranje, čakanje na pojav možnosti in drugi klik na želeno možnost. Dobra novica je, da se meniji po meri z JavaScriptom – tisti, ki niso pravi elementi <select> in povzročajo težave klasičnim skriptam – obravnavajo popolnoma enako, saj agent vidi le vizualni izpis: klikne, v naslednji posnetku zaslona odkrije možnosti in klikne pravo.
Potrditvena polja in izbirni gumbi se zdijo preprostejši, saj zadostuje en sam klik za njihovo aktivacijo. Past je drugje: potrditveno polje, ki je že označeno, se s klikom počisti in tvoj agent je pravkar preklical soglasje, ki naj bi ga dal. Zato mora pred dejanjem prebrati stanje, ti pa ga moraš eksplicitno prositi, naj to stori. Imej tudi v mislih, da sprejetje pogojev ali ustvarjanje računa zavezuje osebo, za katero agent dela: ta dejanja mu zaupaj le, če jih je ta oseba izrecno zahtevala.
naloga = """
V obrazcu za registracijo:
1. Označi polje "Sprejemam pogoje", če ni že označeno
2. Izberi "Podjetje" kot vrsto računa
3. Klikni "Ustvari račun"
Pred klikom preveri stanje vsakega elementa.
"""
Obrazci na več zaslonih
Registracijski tunel s tremi stranmi ni trikrat težji od preprostega obrazca, pod pogojem, da navodila strukturiraš stran za stranjo in označiš prehode. Agent tako ve, kdaj je razdelek končan in kateri gumb vodi do naslednjega. Primer obravnava fiktivne osebne podatke; pri realnih podatkih se spomni, da OpenAI vnos občutljivih informacij v obrazec obravnava kot prenos, ki zahteva odobritev zadevne osebe.
naloga = """
Izpolni registracijski obrazec v 3 korakih:
1. KORAK - Osebni podatki:
- Ime: Jean
- Priimek: Dupont
- Datum rojstva: 15. 3. 1985
→ Klikni "Naprej"
2. KORAK - Kontaktni podatki:
- E-pošta: [email protected]
- Telefon: 06 12 34 56 78
- Naslov: 12 rue de la Paix, 75002 Paris
→ Klikni "Naprej"
3. KORAK - Potrditev:
- Preveri, ali so vsi podatki pravilni
- Označi "Sprejemam pogoje uporabe"
→ Klikni "Potrdi"
"""
Reagiranje na napake pri validaciji
Zavrnjena oblika telefonske številke, manjkajoče obvezno polje, geslo, ki je prekratko: obrazec vrne sporočilo in čaka na popravek. Točno tukaj Computer Use presega skripto, saj agent zna prebrati prikazano napako, namesto da bi ob njej obtičal. Še vedno ga moraš prositi, naj išče napake, in omejiti število poskusov, da se ne bi neskončno vrtel v zanki zaradi polja, ki je dokončno zavrnjeno. Ta pravila vključiš v parameter instructions, ki se vrne z vsako zahtevo (lekcija 5).
NAVODILA = """
Po oddaji obrazca:
1. Naredi posnetek zaslona, da vidiš rezultat
2. Če se pojavijo sporočila o napakah (rdeča, v okvirju),
jih preberi in popravi ustrezna polja
3. Ponovno oddaj obrazec
4. Ponavljaj, dokler obrazec ni sprejet
ali dokler nisi poskusil 3-krat
"""
Nalaganje datotek, poseben primer
Obstaja ena omejitev, ki je noben poziv ne more preseči: pogovorno okno za odpiranje datotek pripada operacijskemu sistemu, ne strani. Agent ga sploh ne vidi – page.screenshot() zajame le vsebino strani – in koordinate, ki jih proizvede, veljajo za stran, ne za sistemsko okno. Operacijo prepusti Playwrightu, ki to pogovorno okno v celoti obide.
def handle_file_upload(page, pot_datoteke: str, selektor: str):
"""Naloži datoteko prek Playwrighta (ne prek Computer Use)."""
page.locator(selektor).set_input_files(pot_datoteke)
Lahko tudi dovoliš, da agent klikne „Prebrskaj” kot uporabnik, in prestrežeš izbirnik datotek v trenutku, ko se odpre: delovni tok ostane naraven od začetka do konca, sistemski del pa se opravi v ozadju. V obeh primerih tvoja koda izbere datoteko, nikoli model; pošiljanje datotek pa je med dejanji, ki jih OpenAI dovoljuje vnaprej odobriti v začetni zahtevi ali jih potrditi drugače.
# Agent klikne "Prebrskaj", ti pa prestrežeš
page.on("filechooser", lambda fc: fc.set_files("/path/to/file.pdf"))
Ključne ugotovitve
- Pred tipkanjem vedno klikni polje
- Uporabi
Ctrl+A(ControlOrMeta+av Playwrightu) za čiščenje polja pred tipkanjem - Spustni meniji zahtevajo klik za odpiranje in nato klik za izbiro
- V pozivu načrtuj obravnavo napak pri validaciji
- Nalaganje datotek mora obravnavati Playwright, ne Computer Use