Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Täida vorme ja klõpsa

Õppetund 6 / 14 Värskendatud 3. november 2026 Arendajatele
Sellel lehel
  1. Kõige levinum tegevus
  2. Klõpsa enne trükkimist
  3. Puhasta väli enne selle täitmist
  4. Menüüd, märkeruudud ja raadio-nupud
  5. Mitme ekraaniga vormid
  6. Reageerimine valideerimisvigadele
  7. Faili üleslaadimine – erijuhtum
  8. Peamised punktid

Tund uuendatud 3. novembril 2026, lähtudes OpenAI kinnituse suunistest ja Playwright’i dokumentatsioonist: trükkimise viivitust ei esitata enam viisina vältida botitõrjet; valimine kasutab ControlOrMeta+a, mis töötab ka macOS-is; page.screenshot() ei kuva faili avamise dialoogiakent, vastupidiselt eelmise versiooni väitele; juhised edastatakse parameetri instructions kaudu. Allikad: Kinnitus ja nõusolek · Playwright, Keyboard.

Kõige levinum tegevus

Kui oskad ainult ühte liigutust, olgu see just see. Kontaktivormi saatmine, pakkumise täitmine, kliendiandmete sisestamine CRM-i ilma API-ta: vormid on enamiku automatiseerimiste kohustuslik kontrollpunkt. Just siin ebaõnnestuvad valesti seadistatud agendid kõige sagedamini, ja sellel on väga konkreetsed põhjused, mida see tund ükshaaval käsitleb.

Klõpsa enne trükkimist

Tegevus type ei kirjuta väljale; see kirjutab parajasti fookuses olevale väljale. Sa unustad seda nüanssi vaid korra: ilma eelneva klõpsuta läheb su tekst tühja või, mis on salakavalam, liidetakse see eelmise välja lõppu. Järjestus on seega muutumatu: klõps fookuse saamiseks, seejärel trükkimine.

# Sinu tegevuste täitjas
def execute_type(page, text: str):
    """Trükib teksti fookuses olevale väljale."""
    page.keyboard.type(text, delay=50)

Väärtus delay=50 väärib tähelepanu. keyboard.type saadab klaviatuurisündmused juba tähemärgi haaval, kuid ilma viivituseta aheldab need võimalikult kiiresti; viiekümne millisekundi pikkuse viivitusega klahvivajutuste vahel langeb kiirus kahekümnele märgile sekundis. Väljad, mis reageerivad igale klahvivajutusele – automaattäitmine, telefoninumbri sisestusmaskid – jõuavad seega sammu pidada. See säte ei puuduta inimeseks teesklemist: sait, mis soovib botte blokeerida, väljendab tahet, mida tuleb austada (Tund 14).

Puhasta väli enne selle täitmist

Eeltäidetud vorm – seansi jätkamine, vaikimisi väärtus, brauseri automaattäitmine – muudab su sisestuse absurdseks liitmiseks: „Dupont“ trükkimine pärast „Martin“ annab tulemuseks „MartinDupont“ ja vorm aktsepteerib seda veata. Vali kõik enne trükkimist.

def clear_and_type(page, text: str):
    """Valib välja kogu sisu ja trükib seejärel."""
    page.keyboard.press("ControlOrMeta+a")  # Ctrl+A või Cmd+A macOS-is
    page.keyboard.type(text, delay=50)

Mudel otsustab oma tegevuste üle vihje (prompt) põhjal: tuleta talle reeglit meelde, muidu trükib ta otse hõivatud väljale.

task = """
Täida kontaktivorm:
- Väli "Nimi": Dupont
- Väli "E-post": [email protected]
- Väli "Sõnum": Päring 50 litsentsi pakkumise kohta

OLULINE: Enne igale väljale trükkimist 
vali kogu olemasolev tekst (Ctrl+A), et see asendada.
Pärast kõigi väljade täitmist klõpsa nuppu "Saada".
"""

Menüüd, märkeruudud ja raadio-nupud

Rippmenüü <select> nõuab kolme sammu: klõps selle avamiseks, ootamine, kuni valikud ilmuvad, ja teine klõps soovitud valikul. Hea uudis on see, et kohandatud JavaScripti menüüsid – need, mis pole päris <select> elemendid ja tekitavad klassikalistele skriptidele nii palju probleeme – käsitletakse täpselt samamoodi, kuna agent näeb ainult visuaalset esitust: ta klõpsab, avastab valikud järgmisel ekraanitõmmisel ja klõpsab õiget.

Märkeruudud ja raadio-nupud tunduvad lihtsamad, nende aktiveerimiseks piisab ühest klõpsust. Lõks peitub mujal: juba märgitud märkeruut muutub klõpsamisel märkimata ja su agent on just tühistanud nõusoleku, mida ta pidi andma. Seetõttu peab ta enne tegutsemist oleku lugema ja sina pead teda selleks sõnaselgelt paluma. Pea samuti meeles, et tingimuste aktsepteerimine või konto loomine kohustab isikut, kelle heaks agent töötab: usalda need tegevused talle ainult siis, kui see isik on neid sõnaselgelt taotlenud.

task = """
Registreerimisvormis:
1. Märgi kast "Nõustun tingimustega", kui see pole juba märgitud
2. Vali konto tüübiks "Ettevõte"
3. Klõpsa "Loo konto"

Kontrolli iga elemendi olekut ENNE klõpsamist.
"""

Mitme ekraaniga vormid

Kolme leheküljega registreerimisprotsess ei ole kolm korda raskem kui lihtne vorm, kui struktureerid juhised lehekülje haaval ja märgid üleminekud. Agent teab siis, millal üks osa on lõppenud ja milline nupp viib järgmiseni. Näide käsitleb väljamõeldud isikuandmeid; reaalsete andmete puhul pea meeles, et OpenAI peab tundlike andmete sisestamist vormi edastamiseks, mis nõuab asjaomase isiku heakskiitu.

task = """
Täida 3-etapiline registreerimisvorm:

1. ETAPP – Isikuandmed:
- Eesnimi: Jean
- Perekonnanimi: Dupont
- Sünnikuupäev: 15.03.1985
→ Klõpsa "Edasi"

2. ETAPP – Kontaktandmed:
- E-post: [email protected]
- Telefon: 06 12 34 56 78
- Aadress: 12 rue de la Paix, 75002 Paris
→ Klõpsa "Edasi"

3. ETAPP – Kinnitus:
- Veendu, et kogu teave on õige
- Märgi "Nõustun kasutustingimustega"
→ Klõpsa "Kinnita"
"""

Reageerimine valideerimisvigadele

Tagasilükatud telefonivorming, puuduv kohustuslik väli, liiga lühikeseks peetav parool: vorm tagastab teate ja ootab parandust. Just siin ületab Computer Use tavalise skripti, kuna agent oskab kuvatavat viga lugeda, selle asemel et sellest takerduda. Siiski pead paluma tal vigu otsida ja piirama tema katseid, et lõplikult tagasilükatud väli ei paneks teda lõputult kordama. Need reeglid lähevad parameetrisse instructions, mis saadetakse iga päringuga kaasa (Tund 5).

INSTRUCTIONS = """
Pärast vormi saatmist:
1. Tee ekraanitõmmis tulemuse nägemiseks
2. Kui ilmuvad veateated (punased, raamitud), 
   loe need ja paranda vastavad väljad
3. Saada vorm uuesti
4. Korda, kuni vorm on aktsepteeritud 
   või oled teinud 3 katset
"""

Faili üleslaadimine – erijuhtum

On üks piirang, mida ükski vihje ei ületa: faili avamise dialoog kuulub operatsioonisüsteemile, mitte lehele. Agent isegi ei näe seda – page.screenshot() jäädvustab ainult lehe sisu – ja tema genereeritud koordinaadid kehtivad lehe, mitte nativse akna suhtes. Suuna operatsioon Playwright’ile, mis möödub sellest dialoogist täielikult.

def handle_file_upload(page, file_path: str, selector: str):
    """Laadib faili üles Playwright'i kaudu (mitte Computer Use'i kaudu)."""
    page.locator(selector).set_input_files(file_path)

Võid lasta agendil ka klõpsata „Sirvi“ nagu kasutaja ja failivalija pealt püüdma hetkel, kui see avaneb: töövoog jääb otsast otsani loomulikuks, süsteemi osa toimub taustal. Mõlemal juhul valib faili sinu kood, mitte mudel; ja failide saatmine on üks tegevustest, mille OpenAI lubab sul esialgses päringus eelnevalt heaks kiita või muul viisil kinnitada.

# Agent klõpsab "Sirvi", seejärel püüad sa sündmuse
page.on("filechooser", lambda fc: fc.set_files("/path/to/file.pdf"))

Peamised punktid

  • Klõpsa alati väljal enne sellele trükkimist
  • Kasuta välja puhastamiseks enne trükkimist Ctrl+A (ControlOrMeta+a Playwright’is)
  • Rippmenüüd nõuavad avamiseks klõpsu ja seejärel valimiseks teist klõpsu
  • Planeeri vigade käsitlemine juba vihjes (prompt)
  • Failide üleslaadimise peab tegema Playwright, mitte Computer Use