Formulieren invullen en klikken
Op deze pagina
Les bijgewerkt op 3 november 2026 op basis van de bevestigingsrichtlijnen van OpenAI en de Playwright-documentatie: typtijdvertraging wordt niet langer gepresenteerd als een manier om detectie van antibots te omzeilen; selectie gebruikt
ControlOrMeta+a, wat ook op macOS werkt; eenpage.screenshot()toont niet het native dialoogvenster voor het openen van bestanden, in tegenstelling tot wat de vorige versie beweerde; richtlijnen worden doorgegeven via de parameterinstructions. Bronnen: Bevestiging en toestemming · Playwright, Toetsenbord.
De meest voorkomende interactie
Als u maar één gebaar onder de knie krijgt, laat het dan deze zijn. Het indienen van een contactaanvraag, het invullen van een offerte, het invoeren van een klantrecord in een CRM zonder API: formulieren zijn het verplichte controlepunt voor de meeste automatiseringen. Dit is ook waar slecht geconfigureerde agenten het vaakst falen, om zeer concrete redenen die deze les één voor één behandelt.
Eerst klikken, dan typen
De actie type schrijft niet in een veld; deze schrijft in het veld dat momenteel de focus heeft. U vergeet dit nuance maar één keer: zonder voorafgaande klik verdwijnt uw tekst in het niets of, meer verraderlijk, wordt deze toegevoegd aan het vorige veld. De volgorde is daarom onveranderlijk: eerst klikken om de focus te leggen, dan typen.
# In uw actie-uitvoerder
def execute_type(page, text: str):
"""Typt tekst in het veld met de focus."""
page.keyboard.type(text, delay=50)
De delay=50 verdient aandacht. keyboard.type verzendt al toetsenbordaanslagen karakter voor karakter, maar zonder vertraging worden ze zo snel mogelijk achter elkaar geplaatst; met vijftig milliseconden tussen aanslagen daalt de snelheid tot twintig tekens per seconde. Velden die op elke toetsaanslag reageren—automatisch aanvullen, invoermaskers voor telefoonnummers—krijgen zo de tijd om bij te blijven. Deze instelling gaat er niet om menselijk over te komen: een site die bots probeert te blokkeren, uit een wil die gerespecteerd moet worden (Les 14).
Een veld wissen voordat u het invult
Een vooraf ingevuld formulier—hervatten van een sessie, standaardwaarde, automatisch aanvullen van de browser—maakt van uw invoer een absurde samenvoeging: “Dupont” typen na “Martin” levert “MartinDupont” op, en het formulier accepteert dit zonder foutmelding. Selecteer alles voordat u typt.
def clear_and_type(page, text: str):
"""Selecteert alle inhoud in het veld en typt vervolgens."""
page.keyboard.press("ControlOrMeta+a") # Ctrl+A, of Cmd+A op macOS
page.keyboard.type(text, delay=50)
Het model bepaalt zijn acties op basis van de prompt: herinner het aan de regel, anders typt het direct in het reeds bezette veld.
task = """
Vul het contactformulier in:
- Veld "Naam": Dupont
- Veld "E-mail": [email protected]
- Veld "Bericht": Offerte-aanvraag voor 50 licenties
BELANGRIJK: Selecteer voordat u in elk veld typt,
alle bestaande tekst (Ctrl+A) om deze te vervangen.
Klik na het invullen van alle velden op de knop Verzenden.
"""
Menu’s, selectievakjes en keuzerondjes
Een vervolgkeuzemenu <select> vereist drie stappen: een klik om het te openen, wachten tot de opties verschijnen, en een tweede klik op de gewenste optie. Het goede nieuws is dat aangepaste JavaScript-menu’s—die geen echte <select>-elementen zijn en klassieke scripts zoveel problemen bezorgen—op exact dezelfde manier worden afgehandeld, omdat de agent alleen de visuele weergave ziet: het klikt, ontdekt de opties in de volgende screenshot, en klikt op de juiste.
Selectievakjes en keuzerondjes lijken eenvoudiger, met één klik genoeg om ze te activeren. De valkuil ligt elders: een selectievakje dat al is aangevinkt, wordt uitgeschakeld bij een klik, en uw agent heeft zojuist de toestemming ingetrokken die het moest geven. Het moet daarom de status lezen voordat het handelt, en u moet het expliciet vragen dit te doen. Houd er ook rekening mee dat het accepteren van voorwaarden of het aanmaken van een account de persoon bindt voor wie de agent werkt: vertrouw deze acties alleen toe als die persoon er expliciet om heeft gevraagd.
task = """
In het registratieformulier:
1. Vink het vakje "Ik accepteer de voorwaarden" aan als dit niet is aangevinkt
2. Selecteer "Bedrijf" bij het accounttype
3. Klik op "Account aanmaken"
Controleer de status van elk element VOORDAT u klikt.
"""
Formulieren over meerdere schermen
Een registratietunnel van drie pagina’s is niet drie keer zo moeilijk als een eenvoudig formulier, mits u de instructies pagina per pagina structureert en de overgangen markeert. De agent weet dan wanneer een sectie is voltooid en welke knop naar de volgende leidt. Het voorbeeld behandelt fictieve persoonsgegevens; bij echte gegevens moet u onthouden dat OpenAI het invoeren van gevoelige informatie in een formulier beschouwt als een overdracht, waarvoor goedkeuring van de betrokkene vereist is.
task = """
Vul het registratieformulier in 3 stappen in:
STAP 1 - Persoonlijke gegevens:
- Voornaam: Jean
- Achternaam: Dupont
- Geboortedatum: 15-03-1985
→ Klik op "Volgende"
STAP 2 - Contactgegevens:
- E-mail: [email protected]
- Telefoon: 06 12 34 56 78
- Adres: 12 rue de la Paix, 75002 Parijs
→ Klik op "Volgende"
STAP 3 - Bevestiging:
- Controleer of alle gegevens correct zijn
- Vink "Ik accepteer de Algemene Voorwaarden" aan
→ Klik op "Valideren"
"""
Reageren op validatiefouten
Een afgewezen telefoonnotatie, een ontbrekend verplicht veld, een wachtwoord dat te kort wordt geacht: het formulier geeft een bericht terug en wacht op correctie. Dit is precies waar Computer Use een script overtreft, omdat de agent de getoonde fout kan lezen in plaats erover te struikelen. U moet het wel vragen om naar fouten te zoeken en zijn pogingen te begrenzen, zodat een definitief afgewezen veld het niet eindeloos laat herhalen. Deze regels gaan naar de parameter instructions, die bij elk verzoek wordt teruggestuurd (Les 5).
INSTRUCTIONS = """
Na het indienen van een formulier:
1. Maak een screenshot om het resultaat te zien
2. Als er foutberichten verschijnen (rood, omkaderd),
lees deze en corrigeer de betreffende velden
3. Dien het formulier opnieuw in
4. Herhaal dit totdat het formulier is geaccepteerd
of u het 3 keer hebt geprobeerd
"""
Bestanden uploaden, een speciaal geval
Er is één limiet die geen enkele prompt zal overschrijden: het dialoogvenster voor het openen van bestanden behoort tot het besturingssysteem, niet tot de pagina. De agent ziet het niet eens—page.screenshot() legt alleen de pagina-inhoud vast—en de coördinaten die het produceert, gelden voor de pagina, niet voor een natief venster. Draag de operatie over aan Playwright, dat dit dialoogvenster volledig omzeilt.
def handle_file_upload(page, file_path: str, selector: str):
"""Uploadt een bestand via Playwright (niet via Computer Use)."""
page.locator(selector).set_input_files(file_path)
U kunt de agent ook laten klikken op “Bladeren” zoals een gebruiker en de bestandskiezer onderscheppen op het moment dat deze opent: de workflow blijft end-to-end natuurlijk, waarbij het systeemgedeelte achter de schermen wordt afgehandeld. In beide gevallen kiest uw code het bestand, nooit het model; en het verzenden van bestanden behoort tot de acties die OpenAI u toestaat vooraf goed te keuren in het initiële verzoek, of anderszins te bevestigen.
# De agent klikt op "Bladeren", vervolgens onderschept u
page.on("filechooser", lambda fc: fc.set_files("/path/to/file.pdf"))
Belangrijkste punten
- Klik altijd op een veld voordat u erin typt
- Gebruik
Ctrl+A(ControlOrMeta+ain Playwright) om een veld te wissen voordat u typt - Vervolgkeuzemenu’s vereisen een klik om te openen, gevolgd door een klik om te selecteren
- Voorzie in de prompt een afhandeling van validatiefouten
- Het uploaden van bestanden moet door Playwright worden afgehandeld, niet door Computer Use