Comment fonctionne l'utilisation de l'ordinateur

L’utilisation de l’ordinateur n’a rien de magique : c’est l’utilisation d’outils de la section 4, avec un outil qui regarde l’écran et pilote la souris et le clavier. Cette leçon montre comment on la déclare, ce que Claude demande, et ce que votre application doit exécuter.

Le même flux que pour tout outil

1. Vous envoyez la demande de l’utilisateur avec l’outil d’utilisation de l’ordinateur dans tools.
2. Claude répond par un ou plusieurs blocs tool_use : une capture d’écran, un clic, une saisie.
3. Votre application exécute chaque action, dans l’ordre, dans l’environnement que vous contrôlez, et renvoie un tool_result par bloc : une image pour une capture, un court « OK » pour les autres actions.
4. Claude regarde le résultat et décide de l’action suivante, jusqu’à la fin de la tâche.

La répétition des étapes 3 et 4 sans intervention humaine est la boucle d’agent. Claude ne touche jamais la machine : il émet des demandes, et c’est votre code qui les traduit en actions réelles.

Déclarer l’outil

Sur les modèles Claude 5.5, l’outil se déclare par une seule entrée, sans en-tête bêta :

response = client.messages.create(
    model=model,
    max_tokens=4096,
    tools=[{"type": "computer_toolset_20260801"}],
    messages=[{"role": "user", "content": "Ouvre le tableur des ventes et additionne la colonne C."}],
)

Cette entrée est une boîte à outils (toolset) : elle donne à Claude 17 outils membres, dont screenshot, zoom, left_click, double_click, left_click_drag, mouse_move, scroll, type, key et wait. Chaque appel arrive dans un bloc tool_use qui porte "toolset_name": "computer" et, dans name, l’outil membre demandé ; votre code dispatche sur la paire formée par ces deux champs, et chaque tool_result reprend le même toolset_name. Les coordonnées sont exprimées en pixels des captures que vous renvoyez.

L’ancienne version du cours déclarait computer_20250124. Les modèles Claude 5.5 refusent les anciennes versions avec une erreur 400 ; computer_20251124, avec son en-tête bêta, reste la version de Claude Opus 4.7, Opus 4.6, Sonnet 4.6 et Opus 4.5.

Les actions groupées

Claude peut renvoyer plusieurs actions d’un coup, par exemple cliquer, taper, puis prendre une capture : c’est une action groupée (batch). Contrairement aux appels d’outils parallèles ordinaires de la leçon 40, ces actions s’exécutent dans l’ordre, et on s’arrête au premier échec ; la documentation précise le texte à renvoyer pour les actions non exécutées.

L’environnement

L’environnement est à votre charge. L’implémentation de référence d’Anthropic réunit, dans un conteneur Docker :

• un écran virtuel (Xvfb), dont Claude reçoit les captures ;
• un bureau léger sous Linux, avec gestionnaire de fenêtres ;
• des applications : Firefox, LibreOffice, un éditeur de texte, un gestionnaire de fichiers ;
• le code qui traduit chaque demande de Claude en action réelle ;
• la boucle d’agent, qui fait circuler demandes et résultats.

export ANTHROPIC_API_KEY="votre_clé"
docker run \
    -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
    -v $HOME/.anthropic:/home/computeruse/.anthropic \
    -p 5900:5900 -p 8501:8501 -p 6080:6080 -p 8080:8080 \
    -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

Le conteneur fournit un bureau, un navigateur et une interface de discussion : on donne une tâche et on regarde la boucle tourner, action par action. Les SDK Python et TypeScript proposent aussi, en bêta, une classe qui implémente la boîte à outils.

Le coût

La boîte à outils ajoute environ 4 500 jetons d’entrée à chaque requête, pour les définitions des outils membres et les instructions associées. S’y ajoutent les captures d’écran renvoyées, facturées comme des images (leçon 57) : sur les modèles récents, une capture est réduite au besoin à 2 576 pixels de côté et coûte au plus 4 784 jetons. Ne gardez dans l’historique que les captures utiles.

À vous de jouer

Regarder la boucle tourner. Lancez le conteneur de référence avec votre clé d’API, ouvrez l’interface, puis demandez une tâche simple, comme chercher une information sur un site autorisé et la noter dans un fichier texte. Comptez les actions demandées, les captures prises, et repérez le moment où Claude corrige une erreur de clic.

Sources officielles : Computer use tool (documentation Claude : boîte à outils, outils membres, actions groupées, environnement, coût) · Computer use demo (implémentation de référence)

Points clés à retenir

• L’utilisation de l’ordinateur est une boucle d’outils ordinaire : Claude demande, votre code exécute dans l’environnement.
• Sur les modèles Claude 5.5 : {"type": "computer_toolset_20260801"}, sans en-tête bêta, et 17 outils membres.
• Chaque appel porte toolset_name: "computer" ; on dispatche sur ce champ et sur name.
• Les actions groupées s’exécutent dans l’ordre, et on s’arrête au premier échec.
• Environ 4 500 jetons d’entrée pour la boîte à outils, plus les captures d’écran.