Aizpildi veidlapas un noklikšķini
Šajā lapā
Nodarbība atjaunināta 2026. gada 3. novembrī, pamatojoties uz OpenAI apstiprinātajām vadlīnijām un Playwright dokumentāciju: rakstīšanas aizture vairs netiek pasniegta kā veids, kā apiet botu noteikšanas sistēmas; atlasei tiek izmantots
ControlOrMeta+a, kas darbojas arī macOS vidē;page.screenshot()nezīmē sistēmas faila atvēršanas dialogu, pretēji iepriekšējās versijas apgalvojumam; vadlīnijas tiek nodotas, izmantojot parametruinstructions. Avoti: Apstiprinājums un piekrišana · Playwright, tastatūra.
Visbiežāk sastopamā darbība
Ja tev jāapgūst tikai viena žesta veikšana, lai tā būtu šī. Kontaktformas nosūtīšana, piedāvājuma aizpildīšana, klienta ieraksta ievadīšana CRM sistēmā, kurai nav API: veidlapas ir obligāts posms lielākajai daļai automatizācijas procesu. Tieši šeit slikti konfigurēti aģenti kļūdas pieļauj visbiežāk, un šī nodarbība vienu pēc otras izskaidro konkrētos iemeslus.
Noklikšķini pirms rakstīšanas
Darbība type neraksta konkrētā laukā; tā raksta pašlaik fokusētajā laukā. Šo niansi aizmirst tikai vienreiz: bez iepriekšēja klikšķina tavs teksts pazūd tukšumā vai, vēl ļaunāk, tiek pievienots iepriekšējā lauka saturam. Tāpēc secība ir nemainīga: vispirms klikšķis, lai iegūtu fokusu, tad rakstīšana.
# Tavā darbību izpildītājā
def execute_type(page, text: str):
"""Ievada tekstu fokusētajā laukā."""
page.keyboard.type(text, delay=50)
Parametrs delay=50 ir pelnījis uzmanību. Funkcija keyboard.type jau nosūta tastatūras notikumus pa vienam simbolam, taču bez aiztures tā tos sūta pēc iespējas ātrāk; ar piecdesmit milisekunžu intervālu starp taustiņu nospiešanām ātrums samazinās līdz divdesmit simboliem sekundē. Lauki, kas reaģē uz katru taustiņa nospiešanu — automātiskā pabeigšana, tālruņa numuru ievades maskas — tādējādi paspēj līdzi. Šis iestatījums nav domāts, lai izliktos par cilvēku: ja vietne vēlas bloķēt botus, tas ir tās lēmums, kas jāievēro (14. nodarbība).
Notīri lauku pirms aizpildīšanas
Aizpildīta veidlapa — sesijas atsākšana, noklusējuma vērtība, pārlūka automātiskā pabeigšana — pārvērš tavu ievadi absurda concatenācijā: rakstot „Dupont” pēc „Martin”, rezultāts ir „MartinDupont”, un veidlapa to pieņem bez kļūdas. Pirms rakstīšanas atlasi visu tekstu.
def clear_and_type(page, text: str):
"""Atlasi visu lauka saturu, pēc tam ievada tekstu."""
page.keyboard.press("ControlOrMeta+a") # Ctrl+A vai Cmd+A macOS vidē
page.keyboard.type(text, delay=50)
Modelis savas darbības plāno, balstoties uz promptu: atgādini tam šo noteikumu, pretējā gadījumā tas rakstīs tieši aizņemtajā laukā.
task = """
Aizpildi kontaktformu:
- Lauks "Vārds": Dupont
- Lauks "E-pasts": [email protected]
- Lauks "Ziņojums": Piedāvājuma pieprasījums 50 licencēm
SVARĪGI: Pirms rakstīšanas katrā laukā
atlasi visu esošo tekstu (Ctrl+A), lai to aizstātu.
Pēc visu lauku aizpildīšanas noklikšķini uz pogas "Sūtīt".
"""
Izvēlnes, izvēles rūtiņas un radiopogas
Nolaižamā izvēlne <select> prasa trīs soļus: klikšķis, lai to atvērtu, gaidīšana, līdz parādās opcijas, un otrais klikšķis uz vēlamās opcijas. Labā ziņa ir tā, ka pielāgotas JavaScript izvēlnes — tās, kas nav īsti <select> elementi un sagādā tik daudz nepatikšanu klasiskajiem skriptiem — tiek apstrādātas tieši tāpat, jo aģents redz tikai vizuālo attēlojumu: tas noklikšķina, nākamajā ekrānuzņēmumā atklāj opcijas un noklikšķina uz pareizās.
Izvēles rūtiņas un radiopogas šķiet vienkāršākas, jo to aktivizēšanai pietiek ar vienu klikšķi. Slazds slēpjas citur: ja izvēles rūtiņa jau ir atzīmēta, klikšķis to noņems, un tavs aģents tikko būs atcēlis piekrišanu, ko tam bija paredzēts dot. Tāpēc tam pirms darbības jānolasa stāvoklis, un tev tas ir tieši jāpieprasa. Atceries arī, ka noteikumu pieņemšana vai konta izveide saista personu, kuras vārdā aģents strādā: uztici tai šādas darbības tikai tad, ja šī persona to ir tieši pieprasījusi.
task = """
Reģistrācijas veidlapā:
1. Atzīmē izvēles rūtiņu "Es piekrītu noteikumiem", ja tā nav atzīmēta
2. Konta tipā izvēlies "Uzņēmums"
3. Noklikšķini uz "Izveidot kontu"
Pirms klikšķināšanas pārbaudi katra elementa stāvokli.
"""
Daudzlappušu veidlapas
Trīs lappušu reģistrācijas process nav trīs reizes grūtāks par vienkāršu veidlapu, ja instrukcijas strukturē pa lappusēm un atzīmē pārejas. Aģents tad zina, kad sadaļa ir pabeigta un kura poga ved uz nākamo. Piemērs apstrādā izdomātus personas datus; strādājot ar reāliem datiem, atceries, ka OpenAI uzskata sensitīvas informācijas ievadīšanu veidlapā par pārsūtīšanu, kas prasa attiecīgās personas apstiprinājumu.
task = """
Aizpildi 3 soļu reģistrācijas veidlapu:
1. SOLIS - Personas informācija:
- Vārds: Jean
- Uzvārds: Dupont
- Dzimšanas datums: 15.03.1985
→ Noklikšķini uz "Tālāk"
2. SOLIS - Kontaktinformācija:
- E-pasts: [email protected]
- Tālrunis: 06 12 34 56 78
- Adrese: 12 rue de la Paix, 75002 Paris
→ Noklikšķini uz "Tālāk"
3. SOLIS - Apstiprinājums:
- Pārbaudi, vai visa informācija ir pareiza
- Atzīmē "Es piekrītu pakalpojuma sniegšanas noteikumiem"
→ Noklikšķini uz "Apstiprināt"
"""
Reakcija uz validācijas kļūdām
Noraidīts tālruņa formāts, trūkstošs obligāts lauks, parole, kas uzskatīta par pārāk īsu: veidlapa atgriež ziņojumu un gaida labojumu. Tieši šeit Computer Use pārspēj skriptu, jo aģents prot nolasīt parādīto kļūdu, nevis paklupt pār to. Tomēr tev joprojām ir jāliek tam meklēt kļūdas un jāierobežo mēģinājumu skaits, lai lauks, kas tiek neatlaidīgi noraidīts, neizraisītu bezgalīgu ciklu. Šie noteikumi iekļaujami parametrā instructions, kas tiek atgriezts ar katru pieprasījumu (5. nodarbība).
INSTRUCTIONS = """
Pēc veidlapas nosūtīšanas:
1. Veic ekrānuzņēmumu, lai redzētu rezultātu
2. Ja parādās kļūdu ziņojumi (sarkanā krāsā, ierāmēti),
izlasi tos un labo attiecīgos laukus
3. Nosūti veidlapu vēlreiz
4. Atkārto, līdz veidlapa ir pieņemta
vai ir veikti 3 mēģinājumi
"""
Failu augšupielāde — īpašs gadījums
Pastāv viena robeža, ko nepārkāps neviens prompts: faila atvēršanas dialogs pieder operētājsistēmai, nevis lapai. Aģents to pat neredz — page.screenshot() fiksē tikai lapas saturu — un tā ģenerētās koordinātas attiecas uz lapu, nevis uz sistēmas logu. Nodev operāciju Playwright, kas šo dialogu pilnībā apej.
def handle_file_upload(page, file_path: str, selector: str):
"""Augšupielādē failu, izmantojot Playwright (nevis Computer Use)."""
page.locator(selector).set_input_files(file_path)
Vari arī ļaut aģentam noklikšķināt uz „Pārlūkot” tāpat kā lietotājs un pārtvert faila atlasītāju brīdī, kad tas atveras: darbplūsma paliek dabiska no sākuma līdz beigām, bet sistēmas daļa tiek apstrādāta aizkulisēs. Abos gadījumos failu izvēlas tavs kods, nevis modelis; un failu nosūtīšana ir viena no darbībām, ko OpenAI ļauj iepriekš apstiprināt sākotnējā pieprasījumā vai apstiprināt citādi.
# Aģents noklikšķina uz "Pārlūkot", tad tu to pārtver
page.on("filechooser", lambda fc: fc.set_files("/path/to/file.pdf"))
Galvenās atziņas
- Vienmēr noklikšķini uz lauka pirms rakstīšanas tajā
- Izmanto
Ctrl+A(ControlOrMeta+aPlaywright vidē), lai notīrītu lauku pirms rakstīšanas - Nolaižamajām izvēlnēm nepieciešams klikšķis, lai tās atvērtu, un otrais klikšķis, lai izvēlētos opciju
- Promptā paredzi validācijas kļūdu apstrādi
- Failu augšupielāde jāveic, izmantojot Playwright, nevis Computer Use