Support des images

Claude lit les images : décrire une photo, comparer deux captures d’écran, lire un graphique, compter des objets. Cette leçon montre comment envoyer une image par l’API Converse, ce qu’elle coûte, et comment la questionner pour obtenir des réponses fiables.

Envoyer une image

Une image est un bloc image dans un message user, à côté d’un bloc de texte :

with open("image.png", "rb") as f:
    image_bytes = f.read()

messages = []
add_user_message(messages, [
    {"image": {"format": "png", "source": {"bytes": image_bytes}}},
    {"text": "Que vois-tu sur cette image ?"},
])
result = chat(messages)

Avec boto3, on passe les octets bruts du fichier : le SDK se charge de l’encodage. Les formats acceptés sont png, jpeg, gif et webp. L’API Converse accepte aussi une image stockée dans S3, avec {"s3Location": {"uri": ...}} à la place de bytes. Pour plusieurs images, ajoutez plusieurs blocs image : Claude peut alors les comparer ou relier leur contenu.

Les limites de l’API Converse

D’après la référence de l’API Converse :

Ce que coûte une image

Le cours officiel donne la formule (largeur × hauteur) / 750, celle des anciens modèles. La documentation actuelle d’Anthropic découpe l’image en carrés de 28 × 28 pixels : une image coûte ⌈largeur / 28⌉ × ⌈hauteur / 28⌉ tokens. Une image trop grande est d’abord réduite, en gardant ses proportions :

Une image de 1 000 × 1 000 pixels coûte ainsi 36 × 36 = 1 296 tokens. Réduisez les images quand la haute résolution n’apporte rien : c’est l’économie la plus simple.

Bien questionner une image

Toutes les techniques de la section 3 valent pour les images. « Combien y a-t-il de billes sur cette image ? » peut renvoyer un compte faux ; une méthode améliore nettement le résultat :

Compte les billes de cette image avec la méthode suivante :
1. Repère chaque bille une à une et attribue-lui un numéro.
2. Vérifie ton résultat par une autre méthode : pars du coin inférieur gauche
   et compte rangée par rangée, de gauche à droite.
Quel est le nombre exact et vérifié de billes ?

Autres leviers : un exemple (une première image avec la bonne réponse, puis l’image à analyser) et le découpage d’une tâche complexe en étapes.

Le cours officiel en donne un cas réel : l’évaluation du risque d’incendie d’une propriété à partir d’une image satellite, pour un assureur. Au lieu de demander « un score de risque », le prompt fait examiner des facteurs précis : des arbres denses et serrés près de la maison, un accès difficile pour les secours, des branches au-dessus du toit, la densité générale de la végétation. Plus le prompt est structuré, plus l’analyse est fiable.

Les limites de la vision

La documentation d’Anthropic en signale plusieurs :

• Claude ne nomme pas les personnes présentes sur une image.
• Une image floue, pivotée ou très petite augmente le risque d’erreur.
• Les comptes d’objets sont approximatifs, surtout avec beaucoup de petits objets.
• Claude ne sait pas dire si une image a été générée par une IA.
• Il n’est pas conçu pour interpréter des examens médicaux complexes.

Vérifiez ses interprétations quand l’enjeu est élevé.

À vous de jouer

Mesurer l’effet d’une méthode. Prenez une photo d’une vingtaine d’objets à compter. Posez la question simple, puis la version avec méthode, trois fois chacune. Notez les comptes et les tokens d’entrée (usage). Réduisez ensuite l’image à 1 000 pixels de large : le compte reste-t-il juste, pour combien de tokens en moins ?

Sources officielles : Image support (Claude Academy) · Message (documentation AWS : limites des images) · Vision (documentation Claude : coût en tokens, limites de la vision)

Points clés à retenir

• Une image est un bloc image d’un message user, avec ses octets bruts ou un emplacement S3.
• Converse : 20 images par message, 3,75 Mo et 8 000 pixels de côté au plus.
• Une image coûte ⌈largeur / 28⌉ × ⌈hauteur / 28⌉ tokens, plafonnés à 4 784 sur les modèles haute résolution.
• Les techniques de prompting valent pour les images : méthode, exemples, étapes.
• Comptes, détails fins et images floues restent approximatifs : vérifiez quand l’enjeu est élevé.