Užpildyk formas ir spustelėk
Šiame puslapyje
Pamoka atnaujinta 2026 m. lapkričio 3 d. pagal „OpenAI“ patvirtinimo gaires ir „Playwright“ dokumentaciją: rašymo delsos neberekomenduojama naudoti kaip būdo išvengti aptikimo kaip botas; žymėjimui naudojamas
ControlOrMeta+a, kuris veikia ir „macOS“ sistemoje;page.screenshot()nerodo sisteminio failo atidarymo dialogo, priešingai nei teigė ankstesnė versija; gairės perduodamos perinstructionsparametrą. Šaltiniai: Patvirtinimas ir sutikimas · Playwright, klaviatūra.
Dažniausia sąveika
Jei turi išmokti tik vieną gestą, tebūnie tai šis. Kontaktinės užklausos siuntimas, kainos pasiūlymo formos pildymas, kliento įrašo įvedimas į CRM be API: formos yra privalomas kontrolės taškas daugumai automatizacijų. Būtent čia neteisingai sukonfigūruoti agentai dažniausiai suklysta dėl labai konkrečių priežasčių, kurias ši pamoka nagrinėja po vieną.
Pirmiausia spustelėk, paskui rašyk
Veiksmas type nerašo tiesiai į laukelį; jis rašo į šiuo metu aktyvų (fokusą turintį) laukelį. Šią subtilybę pamiršti galima tik vieną kartą: be išankstinio spustelėjimo tavo tekstas atsidurs tuštumoje arba, dar klastinguoju būdu, bus pridėtas prie ankstesnio laukelio turinio. Todėl seka yra nekintama: pirmiausia spustelėjimas fokusuoti, tada rašymas.
# Tavo veiksmų vykdytojas
def execute_type(page, text: str):
"""Įveda tekstą į aktyvų laukelį."""
page.keyboard.type(text, delay=50)
Parametras delay=50 nusipelno dėmesio. keyboard.type jau siunčia klaviatūros įvykius simbolis po simbolio, bet be delsos jie vykdomi maksimaliu greičiu; nustatius penkiasdešimties milisekundžių delsa tarp paspaudimų, sparta sumažėja iki dvidešimties simbolių per sekundę. Laukeliai, reaguojantys į kiekvieną paspaudimą – automatinio užpildymo sąrašai, telefono numerių kaukės – taip gauna laiko suspėti. Šis nustatymas skirtas ne tam, kad atrodytum žmogumi: jei svetainė siekia blokuoti botus, tai yra jos valia, kurią reikia gerbti (14 pamoka).
Išvalyk laukelį prieš pildydama
Iš anksto užpildyta forma – sesijos atnaujinimas, numatytoji reikšmė, naršyklės automatinis užpildymas – pavirs tavo įvestį absurdiška konkatenuacija: įvedus „Dupont“ po „Martin“, gaunama „MartinDupont“, ir forma tai priima be klaidos. Prieš rašant reikia pažymėti viską.
def clear_and_type(page, text: str):
"""Pažymi visą laukelio turinį, tada įveda tekstą."""
page.keyboard.press("ControlOrMeta+a") # Ctrl+A arba Cmd+A „macOS“ sistemoje
page.keyboard.type(text, delay=50)
Modelis savo veiksmus parenka pagal užuominą: primink jam šią taisyklę, kitaip jis rašys tiesiai į užimtą laukelį.
task = """
Užpildyk kontaktinę formą:
- Laukelis „Vardas“: Dupont
- Laukelis „El. paštas“: [email protected]
- Laukelis „Žinutė“: Kainos pasiūlymo užklausa 50 licencijų
SVARBU: Prieš rašant kiekviename laukelyje,
pažymėk visą esamą tekstą (Ctrl+A), kad jį pakeistum.
Užpildžius visus laukelius, spustelėk mygtuką „Siųsti“.
"""
Meniu, žymimosios varnelės ir radijo mygtukai
Išskleidžiamajam <select> meniu reikia trijų žingsnių: spustelėjimo jam atidaryti, laukimo, kol pasirodys parinktys, ir antrojo spustelėjimo norimai parinkčiai pasirinkti. Gera žinia ta, kad individualūs „JavaScript“ meniu – tie, kurie nėra tikri <select> elementai ir kelia tiek rūpesčių klasikiniams skriptams – valdomi visiškai taip pat, nes agentas mato tik vizualinį atvaizdavimą: jis spusteli, kitame ekrano kopijos kadre atranda parinktis ir pasirenka tinkamą.
Žymimosios varnelės ir radijo mygtukai atrodo paprastesni – jiems suaktyvinti užtenka vieno spustelėjimo. Spąstai slypi kitur: jau pažymėta varnelė po spustelėjimo bus nuimta, ir tavo agentas ką tik atšaukė sutikimą, kurį turėjo duoti. Todėl prieš veiksmą jis privalo nuskaityti būseną, o tu turi tai aiškiai nurodyti. Taip pat atmink, kad priimant sąlygas ar kuriant paskyrą įsipareigoja asmuo, kuriam agentas atstovauja: patikėk jam šiuos veiksmus tik tada, jei tas asmuo jų aiškiai paprašė.
task = """
Registracijos formoje:
1. Pažymėk varnelę „Sutinku su sąlygomis“, jei ji nepažymėta
2. Pasirink „Įmonė“ paskyros tipo laukelyje
3. Spustelėk „Sukurti paskyrą“
Prieš spustelint PATIKRINK kiekvieno elemento būseną.
"""
Kelių ekranų formos
Trijų puslapių registracijos procesas nėra tris kartus sunkesnis už paprastą formą, jei instrukcijas struktūrizuoji puslapis po puslapio ir pažymi perėjimus. Tuomet agentas žino, kada skyrius baigtas ir kuris mygtukas perkelia į kitą. Pavyzdyje naudojami fiktyvūs asmens duomenys; dirbant su tikrais duomenimis atmink, kad „OpenAI“ laiko jautrios informacijos įvedimą į formą perdavimu, todėl tam reikia susijusio asmens patvirtinimo.
task = """
Užpildyk 3 žingsnių registracijos formą:
1 ŽINGSNIS – Asmeninė informacija:
- Vardas: Jean
- Pavardė: Dupont
- Gimimo data: 1985-03-15
→ Spustelėk „Toliau“
2 ŽINGSNIS – Kontaktinė informacija:
- El. paštas: [email protected]
- Telefonas: 06 12 34 56 78
- Adresas: 12 rue de la Paix, 75002 Paris
→ Spustelėk „Toliau“
3 ŽINGSNIS – Patvirtinimas:
- Patikrink, ar visa informacija teisinga
- Pažymėk „Sutinku su paslaugų teikimo sąlygomis“
→ Spustelėk „Patvirtinti“
"""
Reagavimas į validacijos klaidas
Neteisingas telefono formato įvedimas, trūkstamas privalomas laukelis, per trumpas slaptažodis: forma grąžina pranešimą ir laiko pataisymo. Būtent čia „Computer Use“ pranoksta skriptą, nes agentas moka perskaityti rodomą klaidą, o ne į ją atsitrenkti. Visgi turi paprašyti jo ieškoti klaidų ir apriboti bandymų skaičių, kad galutinai atmestas laukelis nepriverstų jo suktis begalinėje kilpoje. Šios taisyklės įtraukiamos į parametrą instructions, grąžinamą su kiekviena užklausa (5 pamoka).
INSTRUCTIONS = """
Pateikus formą:
1. Padaryk ekrano kopiją rezultatui pamatyti
2. Jei atsiranda klaidų pranešimų (raudoni, rėmeliu apsupti),
perskaityk juos ir pataisyk atitinkamus laukelius
3. Iš naujo pateik formą
4. Kartok, kol forma bus priimta
arba atliksi 3 bandymus
"""
Failo įkėlimas – ypatingas atvejis
Yra viena riba, kurios nepersžengs jokia užuomina: failo atidarymo dialogas priklauso operacinei sistemai, o ne puslapiui. Agentas jo net nemato – page.screenshot() fiksuoja tik puslapio turinį – o jo generuojamos koordinatės taikomos puslapiui, o ne sisteminiam langui. Perduok šią operaciją „Playwright“, kuris šį dialogą visiškai apeina.
def handle_file_upload(page, file_path: str, selector: str):
"""Įkelia failą naudojant „Playwright“ (ne per „Computer Use“)."""
page.locator(selector).set_input_files(file_path)
Taip pat gali leisti agentui spustelėti „Naršyti“ kaip vartotojui ir perimti failo parinkiklį tą akimirką, kai jis atsiveria: darbo eiga lieka natūrali nuo pradžių iki galo, o sisteminė dalis tvarkoma užkulisiuose. Abiem atvejais failą pasirenka tavo kodas, niekada – modelis; be to, failų siuntimas yra tarp veiksmų, kuriuos „OpenAI“ leidžia iš anksto patvirtinti pradiniame prašyme arba patvirtinti vėliau.
# Agentas spusteli „Naršyti“, o tu perimi
page.on("filechooser", lambda fc: fc.set_files("/path/to/file.pdf"))
Svarbiausi punktai
- Prieš rašant laukelyje visada jį spustelėk
- Prieš rašant išvalyk laukelį naudodamas
Ctrl+A(„Playwright“ sintaksėjeControlOrMeta+a) - Išskleidžiamiesiems meniu reikia vieno spustelėjimo atidaryti ir kito – parinkčiai pasirinkti
- Užuominoje numatyk klaidų validacijos tvarkymą
- Failų įkėlimą turi tvarkyti „Playwright“, o ne „Computer Use“