Fonctionnement de Computer Use

L’utilisation de l’ordinateur n’a rien de magique : c’est l’utilisation d’outils de la section 4, avec un outil qui regarde l’écran et pilote la souris et le clavier. Cette leçon montre comment on la déclare, ce que Claude demande, et ce que votre application doit exécuter.

Le même flux que pour tout outil

1. Vous envoyez la demande de l’utilisateur avec l’outil d’utilisation de l’ordinateur.
2. Claude répond par un ou plusieurs blocs toolUse : une capture d’écran, un clic, une saisie.
3. Votre application exécute chaque action, dans l’ordre, dans l’environnement que vous contrôlez, et renvoie un toolResult par bloc : une image pour une capture, un court « OK » pour les autres actions.
4. Claude regarde le résultat et décide de l’action suivante, jusqu’à la fin de la tâche.

La répétition des étapes 3 et 4 sans intervention humaine est la boucle d’agent. Claude ne touche jamais la machine : il émet des demandes, et c’est votre code qui les traduit en actions réelles.

Déclarer l’outil

C’est un outil défini par Anthropic, comme l’éditeur de texte de la leçon 33 : avec l’API Converse, il passe par additionalModelRequestFields. Sur Claude Haiku 5.5, la boîte à outils se déclare par une seule entrée, sans valeur bêta :

response = client.converse(
    modelId=model_id,
    messages=[{"role": "user", "content": [{"text": "Ouvre le tableur des ventes et additionne la colonne C."}]}],
    additionalModelRequestFields={"tools": [{"type": "computer_toolset_20260801"}]},
)
for block in response["output"]["message"]["content"]:
    if "toolUse" in block:
        print(block["toolUse"]["name"], block["toolUse"]["input"])

Cette entrée donne à Claude 17 outils membres, dont screenshot, zoom, left_click, double_click, left_click_drag, mouse_move, scroll, type, key et wait. Selon la documentation AWS, le modèle appelle chaque outil membre par son propre nom, screenshot par exemple, et l’action revient dans un bloc toolUse ; votre code dispatche sur ce nom. Les coordonnées sont exprimées en pixels des captures que vous renvoyez.

La fiche AWS de Haiku 5.5 accepte aussi l’outil unique computer_20251124, avec la valeur bêta computer-use-2025-11-24 placée dans additionalModelRequestFields ("anthropic_beta": ["computer-use-2025-11-24"]). La version la plus ancienne, computer_20241022, n’est acceptée par aucun des modèles listés dans la documentation AWS.

Les actions groupées

Claude peut renvoyer plusieurs actions d’un coup, par exemple cliquer, taper, puis prendre une capture : c’est une action groupée (batch). Contrairement aux appels d’outils parallèles ordinaires de la leçon 30, ces actions s’exécutent dans l’ordre, et on s’arrête au premier échec ; la documentation précise le texte à renvoyer pour les actions non exécutées.

L’environnement

L’environnement est à votre charge. L’implémentation de référence d’Anthropic réunit, dans un conteneur Docker :

• un écran virtuel (Xvfb), dont Claude reçoit les captures ;
• un bureau léger sous Linux, avec gestionnaire de fenêtres ;
• des applications : Firefox, LibreOffice, un éditeur de texte, un gestionnaire de fichiers ;
• le code qui traduit chaque demande de Claude en action réelle ;
• la boucle d’agent, qui fait circuler demandes et résultats.

Le conteneur fonctionne avec Bedrock : on lui passe API_PROVIDER=bedrock et les identifiants AWS, ici par un profil du fichier ~/.aws monté dans le conteneur, comme le montre son README :

export AWS_PROFILE=votre_profil
docker run \
    -e API_PROVIDER=bedrock \
    -e AWS_PROFILE=$AWS_PROFILE \
    -e AWS_REGION=us-west-2 \
    -v $HOME/.aws:/home/computeruse/.aws \
    -v $HOME/.anthropic:/home/computeruse/.anthropic \
    -p 5900:5900 -p 8501:8501 -p 6080:6080 -p 8080:8080 \
    -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

Le README de la démo liste des modèles antérieurs à la génération 5 : vérifiez-y les modèles qu’elle prend en charge avant de choisir.

Le conteneur fournit un bureau, un navigateur et une interface de discussion : on donne une tâche et on regarde la boucle tourner, action par action.

Le coût

La boîte à outils ajoute environ 4 500 jetons d’entrée à chaque requête, pour les définitions des outils membres et les instructions associées. S’y ajoutent les captures d’écran renvoyées, facturées comme des images (leçon 44) : sur les modèles récents, une capture est réduite au besoin à 2 576 pixels de côté et coûte au plus 4 784 jetons. Ne gardez dans l’historique que les captures utiles.

À vous de jouer

Regarder la boucle tourner. Lancez le conteneur de référence avec vos identifiants AWS, ouvrez l’interface, puis demandez une tâche simple, comme chercher une information sur un site autorisé et la noter dans un fichier texte. Comptez les actions demandées, les captures prises, et repérez le moment où Claude corrige une erreur de clic.

Sources officielles : How computer use works (Claude Academy) · Computer use (documentation AWS : Converse et additionalModelRequestFields) · Computer use tool (documentation Claude : boîte à outils, outils membres, actions groupées, environnement, coût) · Computer use demo (implémentation de référence)

Points clés à retenir

• L’utilisation de l’ordinateur est une boucle d’outils ordinaire : Claude demande, votre code exécute dans l’environnement.
• Sur Haiku 5.5 avec Converse : {"type": "computer_toolset_20260801"} dans additionalModelRequestFields, sans valeur bêta, et 17 outils membres.
• Chaque action revient dans un bloc toolUse qui porte le nom de l’outil membre ; on dispatche sur ce nom.
• Les actions groupées s’exécutent dans l’ordre, et on s’arrête au premier échec.
• Environ 4 500 jetons d’entrée pour la boîte à outils, plus les captures d’écran.