L'utilisation de l'ordinateur : Claude pilote un bureau

Avec l’utilisation de l’ordinateur (computer use), Claude agit par l’interface graphique : il regarde l’écran par des captures, déplace la souris, clique et tape au clavier. Là où Claude Code agit par le terminal et les fichiers, l’utilisation de l’ordinateur rend automatisable tout ce qui a un écran, avec ou sans API.

Ce qu’elle permet

• tester une application web comme le ferait un testeur ;
• saisir des données et remplir des formulaires ;
• naviguer sur des sites et collecter des informations ;
• enchaîner des tâches de bureautique répétitives.

Le point commun : l’interface est soit le produit à tester, soit le seul accès disponible. Quand une API existe, appelez l’API : c’est plus rapide, moins cher et plus fiable. Et pour une tâche qui reste dans un navigateur, la documentation propose un outil plus ciblé, l’utilisation du navigateur (browser use), qui agit directement sur la page sans bureau complet.

Un exemple : des tests d’interface

L’ancienne version du cours officiel déléguait à Claude le test d’un composant d’interface :

Ton objectif : tester un composant React.
1. Ouvre l'URL du composant.
2. Exécute les cas de test ci-dessous.
3. Rédige un rapport : pour chaque cas, réussi ou échoué, avec ce que tu as observé.

Cas de test :
- Taper @ doit afficher la liste d'autocomplétion.
- Appuyer sur Entrée doit insérer le document choisi.
- Effacer le @ doit refermer la liste.

La forme du prompt compte : un objectif, une procédure, des cas aux critères vérifiables. C’est l’ingénierie de prompts de la section 3, appliquée à un agent qui voit l’écran. Claude ouvre la page, exécute chaque cas, observe le résultat par une capture, puis rédige le rapport. Ce sont précisément les tests qu’aucun test unitaire ne couvre : un composant peut être logiquement correct et visuellement cassé.

Les précautions

L’utilisation de l’ordinateur comporte des risques propres, plus élevés quand Claude navigue sur Internet. La documentation recommande :

1. une machine virtuelle ou un conteneur dédié, avec le minimum de droits ;
2. aucun accès à des données sensibles, comme des identifiants de connexion ;
3. un accès à Internet limité à une liste de domaines autorisés ;
4. la confirmation d’un humain pour toute décision aux conséquences réelles : accepter des cookies ou des conditions, effectuer un paiement.

Le contenu d’une page ou d’une image peut contenir des instructions qui tentent de détourner Claude (injection de prompt). Anthropic a entraîné le modèle à y résister, et des classifieurs analysent les captures d’écran pour signaler les tentatives probables ; les précautions ci-dessus restent nécessaires. Informez aussi vos utilisateurs des risques et recueillez leur accord avant d’activer la fonction dans un produit.

Les limites actuelles

La documentation en cite plusieurs : une latence encore élevée par rapport à un humain, des coordonnées parfois fausses, des erreurs dans le choix des actions, un défilement qui ne prend pas toujours, des tableurs délicats à manipuler. Réservez l’utilisation de l’ordinateur aux tâches où la vitesse n’est pas critique, comme les tests automatisés ou la collecte d’informations, dans un environnement de confiance, et relisez ses actions.

À vous de jouer

Écrire un plan de test. Choisissez un écran de votre application et écrivez, sur le modèle ci-dessus, un prompt de test : objectif, procédure, trois cas aux critères vérifiables, format du rapport. Notez ensuite les précautions à prendre pour l’exécuter : environnement, données, domaines autorisés, validations humaines.

Sources officielles : Computer use tool (documentation Claude : précautions, limites) · Browser use tool (documentation Claude)

Points clés à retenir

• L’utilisation de l’ordinateur donne à Claude un écran, une souris et un clavier ; tout ce qui a une interface devient automatisable.
• Quand une API existe, préférez-la ; pour une tâche limitée au navigateur, il existe un outil dédié.
• Un bon prompt de test : un objectif, une procédure, des cas vérifiables, un format de rapport.
• Précautions : environnement isolé, aucune donnée sensible, domaines autorisés, validation humaine des actions importantes.
• Latence et précision restent limitées : réservez-la aux tâches où la vitesse n’est pas critique.