Remplir des formulaires et cliquer
Pe această pagină
Leçon mise à jour le 3 novembre 2026 sur la base des directives de confirmation d’OpenAI et de la documentation Playwright : le délai de frappe n’est plus présenté comme un moyen de contourner la détection des bots ; la sélection utilise
ControlOrMeta+a, ce qui fonctionne également sur macOS ; unpage.screenshot()n’affiche pas la boîte de dialogue native d’ouverture de fichier, contrairement à ce que prétendait la version précédente ; les directives sont transmises via le paramètreinstructions. Sources : Confirmation et consentement · Playwright, Clavier.
L’interaction la plus courante
Si vous ne devez maîtriser qu’un seul geste, que ce soit celui-ci. Soumettre une demande de contact, remplir un devis, saisir une fiche client dans un CRM sans API : les formulaires constituent l’étape obligatoire pour la plupart des automatisations. C’est également là que les agents mal configurés échouent le plus souvent, pour des raisons très concrètes que cette leçon aborde une par une.
Cliquer avant de taper
L’action type n’écrit pas dans un champ ; elle écrit dans le champ actuellement focalisé. Vous n’oublierez cette nuance qu’une seule fois : sans clic préalable, votre texte part dans le vide ou, plus insidieusement, s’ajoute au champ précédent. La séquence est donc invariable : un clic pour focaliser, puis la frappe.
# Dans votre exécuteur d'actions
def execute_type(page, text: str):
"""Tape le texte dans le champ focalisé."""
page.keyboard.type(text, delay=50)
Le paramètre delay=50 mérite attention. keyboard.type envoie déjà des événements clavier caractère par caractère, mais sans délai, il les enchaîne aussi vite que possible ; avec cinquante millisecondes entre chaque frappe, la vitesse tombe à vingt caractères par seconde. Les champs qui réagissent à chaque frappe — autocomplétion, masques de saisie pour numéros de téléphone — ont ainsi le temps de suivre. Ce réglage ne vise pas à passer pour un humain : un site cherchant à bloquer les bots exprime une volonté qui doit être respectée (Leçon 14).
Vider un champ avant de le remplir
Un formulaire pré-rempli — reprise de session, valeur par défaut, autocomplétion du navigateur — transforme votre saisie en une concaténation absurde : taper « Dupont » après « Martin » donne « MartinDupont », et le formulaire l’accepte sans erreur. Sélectionnez tout avant de taper.
def clear_and_type(page, text: str):
"""Sélectionne tout le contenu du champ puis tape le texte."""
page.keyboard.press("ControlOrMeta+a") # Ctrl+A, ou Cmd+A sur macOS
page.keyboard.type(text, delay=50)
Le modèle décide de ses actions en fonction de l’invite : rappelez-lui la règle, sinon il tapera directement dans le champ occupé.
task = """
Remplissez le formulaire de contact :
- Champ "Nom" : Dupont
- Champ "Email" : [email protected]
- Champ "Message" : Demande de devis pour 50 licences
IMPORTANT : Avant de taper dans chaque champ,
sélectionnez tout le texte existant (Ctrl+A) pour le remplacer.
Après avoir rempli tous les champs, cliquez sur le bouton Envoyer.
"""
Menus, cases à cocher et boutons radio
Un menu déroulant <select> nécessite trois étapes : un clic pour l’ouvrir, une attente que les options apparaissent, et un second clic sur l’option souhaitée. La bonne nouvelle est que les menus JavaScript personnalisés — ceux qui ne sont pas de vrais éléments <select> et qui posent tant de problèmes aux scripts classiques — sont gérés exactement de la même manière, car l’agent ne voit que le rendu visuel : il clique, découvre les options dans la capture d’écran suivante, et clique sur la bonne.
Les cases à cocher et les boutons radio semblent plus simples, un seul clic suffisant pour les activer. Le piège est ailleurs : une case déjà cochée se décoche lors du clic, et votre agent vient de révoquer le consentement qu’il était censé donner. Il doit donc lire l’état avant d’agir, et vous devez explicitement le lui demander. Gardez également à l’esprit que l’acceptation des conditions générales ou la création d’un compte engage la personne pour laquelle l’agent travaille : ne lui confiez ces actions que si cette personne les a explicitement demandées.
task = """
Dans le formulaire d'inscription :
1. Cochez la case "J'accepte les conditions" si elle n'est pas cochée
2. Sélectionnez "Entreprise" dans le type de compte
3. Cliquez sur "Créer un compte"
Vérifiez l'état de chaque élément AVANT de cliquer.
"""
Formulaires multi-écrans
Un tunnel d’inscription en trois pages n’est pas trois fois plus difficile qu’un formulaire simple, à condition de structurer les instructions page par page et de marquer les transitions. L’agent sait alors quand une section est terminée et quel bouton permet de passer à la suivante. L’exemple traite de données personnelles fictives ; avec des données réelles, rappelez-vous qu’OpenAI considère la saisie d’informations sensibles dans un formulaire comme une transmission, nécessitant l’approbation de la personne concernée.
task = """
Remplissez le formulaire d'inscription en 3 étapes :
ÉTAPE 1 - Informations personnelles :
- Prénom : Jean
- Nom : Dupont
- Date de naissance : 15/03/1985
→ Cliquez sur "Suivant"
ÉTAPE 2 - Coordonnées :
- Email : [email protected]
- Téléphone : 06 12 34 56 78
- Adresse : 12 rue de la Paix, 75002 Paris
→ Cliquez sur "Suivant"
ÉTAPE 3 - Confirmation :
- Vérifiez que toutes les informations sont correctes
- Cochez "J'accepte les Conditions d'utilisation"
→ Cliquez sur "Valider"
"""
Réagir aux erreurs de validation
Un format de téléphone rejeté, un champ obligatoire manquant, un mot de passe jugé trop court : le formulaire renvoie un message et attend une correction. C’est exactement là que Computer Use surpasse un script, car l’agent sait lire l’erreur affichée au lieu de buter dessus. Vous devez néanmoins lui demander de chercher les erreurs et limiter ses tentatives pour qu’un champ définitivement rejeté ne le fasse pas boucler indéfiniment. Ces règles vont dans le paramètre instructions, renvoyé à chaque requête (Leçon 5).
INSTRUCTIONS = """
Après avoir soumis un formulaire :
1. Prenez une capture d'écran pour voir le résultat
2. Si des messages d'erreur apparaissent (en rouge, encadrés),
lisez-les et corrigez les champs concernés
3. Soumettez à nouveau le formulaire
4. Répétez jusqu'à ce que le formulaire soit accepté
ou que vous ayez essayé 3 fois
"""
Téléchargement de fichier, un cas particulier
Il existe une limite qu’aucune invite ne franchira : la boîte de dialogue d’ouverture de fichier appartient au système d’exploitation, non à la page. L’agent ne la voit même pas — page.screenshot() ne capture que le contenu de la page — et les coordonnées qu’il produit s’appliquent à la page, pas à une fenêtre native. Déléguez l’opération à Playwright, qui contourne entièrement cette boîte de dialogue.
def handle_file_upload(page, file_path: str, selector: str):
"""Télécharge un fichier via Playwright (pas via Computer Use)."""
page.locator(selector).set_input_files(file_path)
Vous pouvez aussi laisser l’agent cliquer sur « Parcourir » comme un utilisateur et intercepter le sélecteur de fichier dès son ouverture : le flux reste naturel de bout en bout, la partie système étant gérée en coulisses. Dans les deux cas, c’est votre code qui choisit le fichier, jamais le modèle ; et l’envoi de fichiers fait partie des actions qu’OpenAI vous autorise à pré-approuver dans la requête initiale, ou à confirmer autrement.
# L'agent clique sur "Parcourir", puis vous interceptez
page.on("filechooser", lambda fc: fc.set_files("/path/to/file.pdf"))
Puncte cheie
- Cliquez toujours sur un champ avant d’y taper
- Utilisez
Ctrl+A(ControlOrMeta+adans Playwright) pour vider un champ avant de taper - Les menus déroulants nécessitent un clic pour ouvrir, puis un clic pour sélectionner
- Prévoyez la gestion des erreurs de validation dans l’invite
- Les téléchargements de fichiers doivent être gérés par Playwright, pas par Computer Use