Täytä lomakkeet ja napsauta
Tällä sivulla
Oppitunti päivitetty 3. marraskuuta 2026 OpenAI:n vahvistusohjeistuksen ja Playwright-dokumentaation perusteella: kirjoitusviivettä ei enää esitetä keinona kiertää bottiestojärjestelmiä; valinnassa käytetään
ControlOrMeta+a, joka toimii myös macOS:ssä;page.screenshot()ei näytä natiivia tiedostonavausvalintaikkunaa, toisin kuin edellinen versio väitti; ohjeistukset välitetääninstructions-parametrin kautta. Lähteet: Vahvistus ja suostumus · Playwright, Näppäimistö.
Yleisin vuorovaikutus
Jos opettelet vain yhden liikkeen, tee tästä se. Yhteydenottopyynnön lähettäminen, tarjouksen täyttäminen, asiakastietueen syöttäminen CRM-järjestelmään ilman APIa: lomakkeet ovat pakollinen välivaihe useimmille automaatioille. Tämä on myös kohta, jossa huonosti määritellyt agentit epäonnistuvat useimmiten hyvin konkreettisista syistä, joita tämä oppitunti käsittelee yksi kerrallaan.
Napsauta ennen kirjoittamista
type-toiminto ei kirjoita kenttään; se kirjoittaa parhaillaan aktiiviseen kenttään. Unohdat tämän hienovaraisuuden vain kerran: ilman edeltävää napsautusta tekstisi katoaa tyhjyyteen tai, vielä salakavalampaa, liittää itsensä edellisen kentän sisältöön. Sekvenssi on siis muuttumaton: napsautus aktivoimiseksi, sitten kirjoittaminen.
# Toimintosuorittajassasi
def execute_type(page, text: str):
"""Kirjoittaa tekstin aktiiviseen kenttään."""
page.keyboard.type(text, delay=50)
delay=50 ansaitsee huomiota. keyboard.type lähettää jo näppäintapahtumat merkki merkiltä, mutta ilman viivettä se ketjuttaa ne mahdollisimman nopeasti; viidenkymmenen millisekunnin viiveellä näppäilynopeus laskee kahteenkymmeneen merkkiin sekunnissa. Kentät, jotka reagoivat jokaiseen näppäinpainallukseen – kuten automaattinen täydennys tai puhelinnumeron syöttömaskit – ehtivät näin pysyä perässä. Tämä asetus ei liity ihmisenä esiintymiseen: sivusto, joka pyrkii estämään botteja, ilmaisee tahdon, jota on kunnioitettava (oppitunti 14).
Tyhjennä kenttä ennen täyttöä
Esitäytetty lomake – istunnon jatkaminen, oletusarvo, selaimen automaattinen täydennys – muuttaa syötteesi absurdeiksi yhdistelmiksi: “Dupontin” kirjoittaminen “Martinin” jälkeen tuottaa “MartinDupont”, ja lomake hyväksyy sen ilman virhettä. Valitse kaikki ennen kirjoittamista.
def clear_and_type(page, text: str):
"""Valitsee kaiken kentän sisällön ja kirjoittaa sitten."""
page.keyboard.press("ControlOrMeta+a") # Ctrl+A tai Cmd+A macOS:ssä
page.keyboard.type(text, delay=50)
Malli päättää toimintansa kehotteen perusteella: muistuta sitä säännöstä, tai se kirjoittaa suoraan varattuun kenttään.
task = """
Täytä yhteyslomake:
- Kenttä "Nimi": Dupont
- Kenttä "Sähköposti": [email protected]
- Kenttä "Viesti": Tarjouspyyntö 50 lisenssille
TÄRKEÄÄ: Ennen kuin kirjoitat mihinkään kenttään,
valitse kaikki olemassa oleva teksti (Ctrl+A) korvataksesi sen.
Kun kaikki kentät on täytetty, napsauta Lähetä-painiketta.
"""
Valikot, valintaruudut ja radiopainikkeet
<select>-pudotusvalikko vaatii kolme vaihetta: napsautus avaamiseksi, odotus vaihtoehtojen ilmestymiselle ja toinen napsautus halutulle vaihtoehdolle. Hyvä uutinen on, että mukautetut JavaScript-valikot – ne, jotka eivät ole oikeita <select>-elementtejä ja tuottavat klassisille skripteille niin paljon ongelmia – käsitellään täsmälleen samalla tavalla, sillä agentti näkee vain visuaalisen esityksen: se napsauttaa, havaitsee vaihtoehdot seuraavassa kuvakaappauksessa ja napsauttaa oikeaa.
Valintaruudut ja radiopainikkeet vaikuttavat yksinkertaisemmilta, sillä yksi napsautus riittää niiden aktivoimiseen. Ansapiikki piilee muualla: valintaruutu, joka on jo valittuna, poistuu valinnasta napsautettaessa, ja agenttisi on juuri kumonnut suostumuksen, jonka sen piti antaa. Sen on siis luettava tila ennen toimintaa, ja sinun on pyydettävä sitä tekemään niin nimenomaisesti. Pidä myös mielessä, että ehtojen hyväksyminen tai tilin luominen sitoo henkilön, jonka puolesta agentti toimii: usko nämä toimet sille vain, jos kyseinen henkilö on pyytänyt niitä nimenomaisesti.
task = """
Rekisteröintilomakkeessa:
1. Valitse "Hyväksyn ehdot" -valintaruutu, jos sitä ei ole valittu
2. Valitse "Yritys" tilityypiksi
3. Napsauta "Luo tili"
Varmista kunkin elementin tila ENNEN napsauttamista.
"""
Monisivuiset lomakkeet
Kolmen sivun rekisteröintiputki ei ole kolme kertaa vaikeampi kuin yksinkertainen lomake, jos jäsentelet ohjeet sivu kerrallaan ja merkitset siirtymät. Agentti tietää tällöin, milloin osio on päättynyt ja mikä painike siirtää seuraavaan. Esimerkki käsittelee kuvitteellisia henkilötietoja; todellisten tietojen kanssa muista, että OpenAI pitää arkaluonteisten tietojen syöttämistä lomakkeeseen lähetyksenä, joka vaatii asianomaisen henkilön hyväksynnän.
task = """
Täytä 3-vaiheinen rekisteröintilomake:
VAIHE 1 – Henkilötiedot:
- Etunimi: Jean
- Sukunimi: Dupont
- Syntymäaika: 15.03.1985
→ Napsauta "Seuraava"
VAIHE 2 – Yhteystiedot:
- Sähköposti: [email protected]
- Puhelin: 06 12 34 56 78
- Osoite: 12 rue de la Paix, 75002 Paris
→ Napsauta "Seuraava"
VAIHE 3 – Vahvistus:
- Tarkista, että kaikki tiedot ovat oikein
- Valitse "Hyväksyn käyttöehdot"
→ Napsauta "Vahvista"
"""
Reagoiminen validointivirheisiin
Hylätty puhelinmuoto, puuttuva pakollinen kenttä, liian lyhyeksi arvioitu salasana: lomake palauttaa viestin ja odottaa korjausta. Juuri tässä Computer Use ylittää skriptin, sillä agentti osaa lukea näkyvän virheen sen sijaan, että se kompastuisi siihen. Sinun on silti pyydettävä sitä etsimään virheitä ja rajoitettava yrityksiä, jotta ehdottomasti hylätty kenttä ei aiheuta loputonta silmukkaa. Nämä säännöt kuuluvat instructions-parametriin, joka palautetaan jokaisen pyynnön yhteydessä (oppitunti 5).
INSTRUCTIONS = """
Lomakkeen lähettämisen jälkeen:
1. Ota kuvakaappaus tuloksen näkemiseksi
2. Jos virheilmoituksia ilmestyy (punaisina, kehystettyinä),
lue ne ja korjaa asiaankuuluvat kentät
3. Lähetä lomake uudelleen
4. Toista, kunnes lomake hyväksytään
tai olet yrittänyt 3 kertaa
"""
Tiedoston lataus, erikoistapaus
On yksi raja, jota mikään kehote ei ylitä: tiedostonavausvalintaikkuna kuuluu käyttöjärjestelmälle, ei sivulle. Agentti ei edes näe sitä – page.screenshot() kaappaa vain sivun sisällön – ja sen tuottamat koordinaatit pätevät sivuun, eivät natiiviin ikkunaan. Siirrä operaatio Playwrightille, joka ohittaa tämän valintaikkunan kokonaan.
def handle_file_upload(page, file_path: str, selector: str):
"""Lataa tiedoston Playwrightin kautta (ei Computer Usen kautta)."""
page.locator(selector).set_input_files(file_path)
Voit myös antaa agentin napsauttaa “Selaa” kuin käyttäjä ja siepata tiedostovalitsimen heti sen avautuessa: työnkulku pysyy luonnollisena alusta loppuun, ja järjestelmäosa hoidetaan kulissien takana. Molemmissa tapauksissa koodisi valitsee tiedoston, ei malli; ja tiedostojen lähettäminen kuuluu niihin toimiin, jotka OpenAI sallii sinun hyväksyvän etukäteen alkuperäisessä pyynnössä tai vahvistavan muuten.
# Agentti napsauttaa "Selaa", sitten sieppaat tapahtuman
page.on("filechooser", lambda fc: fc.set_files("/path/to/file.pdf"))
Keskeiset asiat
- Napsauta kenttää aina ennen siihen kirjoittamista
- Käytä
Ctrl+A(ControlOrMeta+aPlaywrightissa) tyhjentääksesi kentän ennen kirjoittamista - Pudotusvalikot vaativat napsautuksen avaamiseksi ja toisen napsautuksen valitsemiseksi
- Suunnittele virheilmoitusten käsittely kehotteeseen
- Tiedostojen latauksen hoitaa Playwright, ei Computer Use