Support des images

Claude lit les images : on peut lui demander de décrire une photo, de comparer deux captures d’écran, de lire un graphique ou de compter des objets. Cette leçon montre comment envoyer une image, ce qu’elle coûte, et comment la questionner pour obtenir des réponses fiables.

Envoyer une image

Une image se place dans un bloc image du message user, à côté d’un bloc de texte. La documentation recommande de mettre l’image avant la question.

import base64

with open("image.png", "rb") as f:
    image_data = base64.standard_b64encode(f.read()).decode("utf-8")

add_user_message(messages, [
    {"type": "image", "source": {"type": "base64", "media_type": "image/png", "data": image_data}},
    {"type": "text", "text": "Que voyez-vous sur cette image ?"},
])
response = chat(messages)

L’image peut être fournie de trois façons :

• en base64, comme ci-dessus, avec son type : image/jpeg, image/png, image/gif ou image/webp ;
• par URL : {"type": "url", "url": adresse_publique} ;
• par la Files API (leçon 63) : on téléverse l’image une fois, puis on la cite par {"type": "file", "file_id": "…"}. Dans une conversation longue, cela évite de renvoyer les octets de l’image à chaque requête.

Sur Amazon Bedrock et Claude Models on Google Cloud (géré par Google), seule la forme base64 est acceptée.

Les limites

Le cours officiel donne encore les limites d’une génération précédente (100 images, 5 Mo, 2 000 pixels pour plusieurs images) : celles ci-dessus sont celles de la documentation actuelle.

Ce que coûte une image

Claude découpe l’image en carrés de 28 × 28 pixels, et chaque carré compte comme un jeton : une image coûte ⌈largeur / 28⌉ × ⌈hauteur / 28⌉ jetons. Une image trop grande est d’abord réduite, en gardant ses proportions :

Une image de 1 000 × 1 000 pixels coûte ainsi 1 296 jetons, soit environ 2,60 dollars pour mille images sur Sonnet 5.5, à 2 dollars le million de jetons d’entrée. Une capture d’écran de 1 920 × 1 080 pixels, envoyée telle quelle à un modèle haute résolution, en coûte 2 691. La documentation conseille de réduire les images quand la haute résolution n’apporte rien : redimensionner avant d’envoyer est l’économie la plus simple.

Bien questionner une image

Les techniques de prompting des leçons 24 à 30 valent pour les images. Une question vague donne une réponse vague : « Combien y a-t-il de billes sur cette image ? » peut renvoyer un compte faux. On améliore nettement le résultat en donnant une méthode :

Compte les billes de cette image avec la méthode suivante :
1. Repère chaque bille une à une et attribue-lui un numéro.
2. Vérifie ton résultat par une autre méthode : pars du coin inférieur gauche
   et compte rangée par rangée, de gauche à droite.
Quel est le nombre exact et vérifié de billes ?

Deux autres leviers : un exemple (une première image avec la bonne réponse, puis l’image à analyser), et le découpage d’une tâche complexe en étapes.

Le cours officiel en donne un cas réel : l’évaluation du risque d’incendie d’une maison à partir d’une image satellite, pour un assureur. Au lieu de demander « un score de risque », le prompt fait suivre cinq étapes : repérer l’habitation principale, mesurer la part du toit couverte par des branches (moins de 25 %, 25 à 50 %, 50 à 75 %, plus de 75 %), évaluer les points de vulnérabilité, examiner la continuité de la végétation, puis attribuer une note de 1 (faible) à 4 (sévère), avec une phrase de justification par étape.

Les limites de la vision

La documentation en signale plusieurs, à garder en tête pour les usages sensibles :

• Claude ne nomme pas les personnes présentes sur une image.
• Une image floue, pivotée ou plus petite que 200 pixels augmente le risque d’erreur.
• Les comptes d’objets sont approximatifs, surtout pour de nombreux petits objets.
• Les coordonnées et localisations renvoyées sont approximatives.
• Claude ne sait pas dire si une image a été générée par une IA.
• Il n’est pas conçu pour interpréter des examens médicaux complexes comme un scanner ou une IRM.

Vérifiez toujours ses interprétations quand l’enjeu est élevé.

À vous de jouer

Mesurer l’effet d’une méthode. Prenez une photo contenant une vingtaine d’objets à compter. Posez la question simple, puis la version avec méthode, trois fois chacune. Notez les comptes obtenus et usage.input_tokens. Redimensionnez ensuite l’image à 1 000 pixels de large et vérifiez que le compte reste juste pour un coût moindre.

Sources officielles : Image support (Claude Academy) · Vision (documentation Claude : sources, limites, coût en jetons, limites de la vision)

Points clés à retenir

• Une image se place dans un bloc image, en base64, par URL ou par file_id, de préférence avant la question.
• Les limites actuelles : 600 images par requête, 8 000 pixels de côté, 10 Mo par image en base64.
• Une image coûte ⌈largeur / 28⌉ × ⌈hauteur / 28⌉ jetons, plafonnés selon le modèle : réduisez ce qui n’a pas besoin de haute résolution.
• Les techniques de prompting valent pour les images : méthode, exemples, étapes.
• Comptes, coordonnées et images floues restent approximatifs : vérifiez quand l’enjeu est élevé.