Remplir des formulaires et cliquer
På denna sida
Leçon mise à jour le 3 novembre 2026 sur la base des directives de confirmation d’OpenAI et de la documentation Playwright : le délai de frappe n’est plus présenté comme un moyen de contourner la détection des bots ; la sélection utilise
ControlOrMeta+a, ce qui fonctionne aussi sur macOS ; unpage.screenshot()n’affiche pas la boîte de dialogue native d’ouverture de fichier, contrairement à ce que prétendait la version précédente ; les directives sont transmises via le paramètreinstructions. Sources : Confirmation et consentement · Playwright, Keyboard.
L’interaction la plus courante
Si tu ne dois maîtriser qu’un seul geste, que ce soit celui-ci. Soumettre une demande de contact, remplir un devis, saisir une fiche client dans un CRM sans API : les formulaires sont le point de passage obligé de la plupart des automatisations. C’est aussi là que les agents mal configurés échouent le plus souvent, pour des raisons très concrètes que cette leçon aborde une par une.
Cliquer avant de taper
L’action type n’écrit pas dans un champ ; elle écrit dans le champ actuellement focalisé. Tu n’oublies cette nuance qu’une seule fois : sans clic préalable, ton texte part dans le vide ou, plus insidieusement, s’ajoute au champ précédent. La séquence est donc invariable : un clic pour focaliser, puis la frappe.
# Dans ton exécuteur d'actions
def execute_type(page, text: str):
"""Tape du texte dans le champ focalisé."""
page.keyboard.type(text, delay=50)
Le delay=50 mérite attention. keyboard.type envoie déjà des événements clavier caractère par caractère, mais sans délai, il les enchaîne aussi vite que possible ; avec cinquante millisecondes entre chaque frappe, le rythme tombe à vingt caractères par seconde. Les champs qui réagissent à chaque frappe — autocomplétion, masques de saisie pour numéros de téléphone — ont ainsi le temps de suivre. Ce réglage ne vise pas à passer pour un humain : un site cherchant à bloquer les bots exprime une volonté qu’il faut respecter (Leçon 14).
Vider un champ avant de le remplir
Un formulaire pré-rempli — reprise de session, valeur par défaut, autocomplétion du navigateur — transforme ta saisie en une concaténation absurde : taper « Dupont » après « Martin » donne « MartinDupont », et le formulaire l’accepte sans erreur. Sélectionne tout avant de taper.
def clear_and_type(page, text: str):
"""Sélectionne tout le contenu du champ puis tape."""
page.keyboard.press("ControlOrMeta+a") # Ctrl+A, ou Cmd+A sur macOS
page.keyboard.type(text, delay=50)
Le modèle décide de ses actions en fonction de l’invite : rappelle-lui la règle, sinon il tapera directement dans le champ occupé.
task = """
Remplis le formulaire de contact :
- Champ "Nom" : Dupont
- Champ "Email" : [email protected]
- Champ "Message" : Demande de devis pour 50 licences
IMPORTANT : Avant de taper dans chaque champ,
sélectionne tout le texte existant (Ctrl+A) pour le remplacer.
Après avoir rempli tous les champs, clique sur le bouton Envoyer.
"""
Menus, cases à cocher et boutons radio
Un menu déroulant <select> nécessite trois étapes : un clic pour l’ouvrir, une attente que les options apparaissent, et un second clic sur l’option souhaitée. La bonne nouvelle, c’est que les menus JavaScript personnalisés — ceux qui ne sont pas de vrais éléments <select> et qui donnent tant de fil à retordre aux scripts classiques — sont gérés exactement de la même manière, car l’agent ne voit que le rendu visuel : il clique, découvre les options dans la capture d’écran suivante, et clique sur la bonne.
Les cases à cocher et les boutons radio semblent plus simples, un seul clic suffisant à les activer. Le piège est ailleurs : une case déjà cochée se décoche au clic, et ton agent vient de révoquer le consentement qu’il était censé donner. Il doit donc lire l’état avant d’agir, et tu dois explicitement le lui demander. Garde aussi à l’esprit qu’accepter des conditions ou créer un compte engage la personne pour laquelle l’agent travaille : ne lui confie ces actions que si cette personne les a explicitement demandées.
task = """
Dans le formulaire d'inscription :
1. Coche la case "J'accepte les conditions" si elle n'est pas cochée
2. Sélectionne "Entreprise" dans le type de compte
3. Clique sur "Créer un compte"
Vérifie l'état de chaque élément AVANT de cliquer.
"""
Formulaires multi-écrans
Un tunnel d’inscription en trois pages n’est pas trois fois plus difficile qu’un formulaire simple, à condition de structurer les instructions page par page et de marquer les transitions. L’agent sait alors quand une section est terminée et quel bouton permet de passer à la suivante. L’exemple traite de données personnelles fictives ; avec de vraies données, rappelle-toi qu’OpenAI considère la saisie d’informations sensibles dans un formulaire comme une transmission, nécessitant l’approbation de la personne concernée.
task = """
Remplis le formulaire d'inscription en 3 étapes :
ÉTAPE 1 - Informations personnelles :
- Prénom : Jean
- Nom : Dupont
- Date de naissance : 15/03/1985
→ Clique sur "Suivant"
ÉTAPE 2 - Coordonnées :
- Email : [email protected]
- Téléphone : 06 12 34 56 78
- Adresse : 12 rue de la Paix, 75002 Paris
→ Clique sur "Suivant"
ÉTAPE 3 - Confirmation :
- Vérifie que toutes les informations sont correctes
- Coche "J'accepte les Conditions d'utilisation"
→ Clique sur "Valider"
"""
Réagir aux erreurs de validation
Un format de téléphone rejeté, un champ obligatoire manquant, un mot de passe jugé trop court : le formulaire renvoie un message et attend une correction. C’est exactement là que Computer Use surpasse un script, car l’agent sait lire l’erreur affichée au lieu de buter dessus. Tu dois néanmoins lui demander de chercher les erreurs et borner ses tentatives pour qu’un champ définitivement rejeté ne le fasse pas boucler indéfiniment. Ces règles vont dans le paramètre instructions, renvoyé à chaque requête (Leçon 5).
INSTRUCTIONS = """
Après avoir soumis un formulaire :
1. Prends une capture d'écran pour voir le résultat
2. Si des messages d'erreur apparaissent (en rouge, encadrés),
lis-les et corrige les champs concernés
3. Resoumets le formulaire
4. Répète jusqu'à ce que le formulaire soit accepté
ou que tu aies essayé 3 fois
"""
Téléchargement de fichier, un cas particulier
Il existe une limite qu’aucune invite ne franchira : la boîte de dialogue d’ouverture de fichier appartient au système d’exploitation, pas à la page. L’agent ne la voit même pas — page.screenshot() ne capture que le contenu de la page — et les coordonnées qu’il produit s’appliquent à la page, pas à une fenêtre native. Délègue l’opération à Playwright, qui contourne entièrement cette boîte de dialogue.
def handle_file_upload(page, file_path: str, selector: str):
"""Télécharge un fichier via Playwright (pas via Computer Use)."""
page.locator(selector).set_input_files(file_path)
Tu peux aussi laisser l’agent cliquer sur « Parcourir » comme un utilisateur et intercepter le sélecteur de fichier dès son ouverture : le flux reste naturel de bout en bout, la partie système étant gérée en coulisses. Dans les deux cas, c’est ton code qui choisit le fichier, jamais le modèle ; et l’envoi de fichiers fait partie des actions qu’OpenAI t’autorise à pré-approuver dans la requête initiale, ou à confirmer autrement.
# L'agent clique sur "Parcourir", puis tu interceptes
page.on("filechooser", lambda fc: fc.set_files("/path/to/file.pdf"))
Viktiga punkter
- Clique toujours sur un champ avant d’y taper
- Utilise
Ctrl+A(ControlOrMeta+adans Playwright) pour vider un champ avant de taper - Les menus déroulants nécessitent un clic pour ouvrir, puis un clic pour sélectionner
- Prévois la gestion des erreurs de validation dans l’invite
- Les téléchargements de fichiers doivent être gérés par Playwright, pas par Computer Use