Comment évaluer les 4D ?

Cette leçon s’attaque à l’une des questions les plus délicates de l’enseignement de l’AI Fluency : comment l’évaluer ? Comment distinguer l’étudiant qui a trouvé quelques prompts astucieux de celui qui développe de vraies compétences de collaboration ? Elle présente trois approches complémentaires, les applique à chacun des 4D, les illustre sur un devoir concret, et vous fait construire une grille d’évaluation pour votre propre cours.

Trois approches qui se complètent

Il faut comprendre à quoi ressemble l’AI Fluency en pratique pour distinguer l’interaction de surface de la compétence collaborative profonde. Trois approches générales fonctionnent bien ensemble. L’évaluation par les résultats porte sur ce que les étudiants produisent à travers la collaboration : atteignent-ils leurs objectifs déclarés par le partenariat humain-IA ? L’évaluation par les processus examine comment ils travaillent avec l’IA dans le temps : schémas d’itération, récupération après des tentatives ratées, sophistication de la méthode ; ce qui se passe pendant la collaboration, pas seulement ce qu’elle produit. L’évaluation par la réflexion vise la conscience métacognitive : les conclusions des étudiants sur les stratégies qui ont marché ou non, ce qu’ils ont appris, comment ils l’appliqueront. Les évaluations les plus efficaces intègrent les trois : elles mesurent non seulement ce que les étudiants savent produire avec l’IA, mais comment ils pensent et grandissent comme collaborateurs.

Ce que chaque D donne à voir

Pour la Délégation, fixer des objectifs et décider si, quand et comment engager l’IA, l’évaluation par les résultats demande si le plan de délégation tenait, si les objectifs étaient réalistes, si l’outil choisi convenait ; par les processus, elle relit des journaux de conversation annotés où l’étudiant travaille sa délégation avec un assistant, montre les options explorées et les décisions prises ; par la réflexion, elle lui demande d’expliquer ses choix, ce qu’il a envisagé d’autre, et comment ces décisions ont façonné tout ce qui a suivi.

Pour la Description, la capacité à communiquer pour susciter des comportements et des réponses utiles, les résultats sont la qualité des prompts et des réponses (consignes claires ? bon contexte ?) et l’évolution des prompts de la première à la dernière version ; les processus, une analyse des journaux avec une grille : affinement itératif, approches abandonnées, pivots qui mènent à des percées, contexte partagé construit dans le temps ; la réflexion, l’analyse par l’étudiant des techniques qui marchent le mieux et pourquoi, la reconnaissance que des tâches différentes appellent des façons différentes de communiquer, et le lien entre qualité de la description et qualité du résultat : « quelles stratégies de communication ont le mieux marché, et pourquoi ? comment avez-vous adapté votre approche selon les tâches ? ».

Pour le Discernement, la capacité à juger avec justesse l’utilité des sorties et des comportements de l’IA, les résultats peuvent être des sorties annotées (ce qui est fort, ce qui doit être amélioré) ou un journal de décisions (gardé, modifié, écarté) ; les processus, des commentaires d’évaluation au fil du journal, la détection et la correction d’erreurs de l’IA, la reconnaissance de motifs sur plusieurs interactions, où l’on voit l’œil critique se former en direct ; la réflexion, l’analyse de ses critères d’évaluation et de leur évolution, des problèmes d’abord manqués et des leçons tirées, et la comparaison de ses stratégies selon les types de tâche.

Pour la Diligence, assumer ce que nous faisons avec l’IA et comment, les résultats sont la qualité et la complétude des déclarations de diligence, l’attribution et la documentation de transparence appropriées, les preuves de vérification des faits : comment attribuent-ils le rôle de l’IA ? quels processus de vérification, et ont-ils attrapé les erreurs ? Les processus examinent la manipulation des données visible dans les journaux, la décision éthique avant, pendant et après, le traitement intentionnel des informations sensibles, la documentation des permissions demandées et des contraintes vérifiées. La réflexion explore les dilemmes rencontrés, la compréhension de ses responsabilités, les défis éthiques qui ont surpris, et la façon d’en tirer un usage plus responsable à l’avenir.

Un devoir, trois regards

Imaginez un essai sur les impacts de l’IA générative sur la société, écrit avec le soutien d’un assistant. Les étudiants rendent l’essai final, un lien vers leurs interactions avec l’IA, une déclaration de diligence et un journal d’apprentissage. Par les résultats, on lit l’essai et la déclaration : répond-il au sujet ? voit-on clairement une supervision humaine forte dans la version finale ? la collaboration est-elle présentée avec transparence ? Par les processus, on regarde l’interaction elle-même, les coulisses : l’étudiant a-t-il construit un contexte partagé ? comment a-t-il affiné ses prompts, et voit-on des pivots et des corrections de trajectoire face aux erreurs, malentendus ou manques de clarté ? Par la réflexion, on lit le journal : peut-il expliquer ce qui a bien ou mal fonctionné, et formuler des leçons pour la prochaine collaboration ?

Quelques principes. Combinez les trois approches pour une image complète. Appuyez-vous sur des actions observables et des artefacts concrets plutôt que sur des suppositions sur la compréhension. Rappelez-vous que des compétences différentes gagnent à des approches différentes. Surtout, faites de l’évaluation une occasion d’apprendre, pas seulement une mesure : aidez les étudiants à reconnaître leur propre progression comme collaborateurs de l’IA, et à y trouver de la valeur.

À vous de jouer

Exercice 1 : poser les fondations (5 min). Ouvrez une nouvelle conversation ou poursuivez celle de la leçon 1. Donnez à l’IA le texte des vidéos des deux leçons sur l’évaluation ; si vous repartez de zéro, partagez votre contexte d’enseignement et expliquez que vous travaillez sur l’évaluation de l’AI Fluency ; sinon, rappelez-lui que vous passez aux stratégies d’évaluation. Décrivez un devoir ou un projet précis où vos étudiants utiliseront l’IA et les aspects de l’AI Fluency les plus importants pour lui. Identifiez ensemble les D et les sous-compétences les plus pertinents, ce à quoi ressemble la réussite dans ce contexte, les difficultés ou idées fausses à prévoir, et les preuves qui vous convaincraient que les étudiants ont développé la fluidité.

Exercice 2 : choisir les approches (10 min). Pour chaque D évalué, explorez avec l’IA si des mesures par les résultats fonctionneraient (quels produits démontreraient la compétence ?), si des mesures par les processus sont faisables (pouvez-vous accéder aux journaux de conversation et les évaluer ?), si des mesures par la réflexion ajoutent de la valeur (quelles questions révéleraient ou favoriseraient la compréhension ?), et quelle combinaison donne l’image la plus nette. Soyez pratique : qu’est-ce qui est réellement évaluable avec votre temps et vos ressources ? qu’est-ce qui peut être auto-évalué ou évalué par les pairs ? que devez-vous évaluer directement, et que peuvent documenter les étudiants ? comment concilier une évaluation complète et une correction efficace ?

Exercice 3 : créer des indicateurs observables (10 min). Définissez avec l’IA trois niveaux clairs (par exemple émergent, en développement, compétent) et, pour chacun, décrivez ce que vous verriez réellement dans le travail des étudiants, dans le vocabulaire de votre cours et de votre devoir, avec des exemples de votre discipline. Transformez les notions abstraites en comportements observables, remplacez les termes vagues comme « bonne compréhension » par des actions précises, reliez chaque indicateur aux exigences du devoir, et vérifiez que chacun est effectivement évaluable.

Exercice 4 : mettre en forme la grille (5 min). Demandez à l’IA de structurer la grille dans un format clair et utilisable ; vérifiez que chaque critère se distingue nettement des autres, que la progression entre niveaux est logique et atteignable, que la grille s’aligne sur vos objectifs d’apprentissage, et que sa langue est claire pour vous comme pour vos étudiants ; décidez comment vous la leur communiquerez.

Sources officielles : How do we assess the 4Ds? (Claude Academy : vidéo, quatre exercices) · Concevoir des exercices pour l’AI Fluency (leçon suivante)

Points clés à retenir

• Une évaluation efficace de l’AI Fluency combine résultats, processus et réflexion pour une image complète.
• Chacun des 4D appelle des preuves et des stratégies d’évaluation différentes.
• Les résultats regardent les produits, les processus regardent le parcours, la réflexion regarde la conscience métacognitive.
• Les actions observables et les artefacts concrets sont plus fiables que les suppositions sur la compréhension.
• L’évaluation doit être une occasion d’apprendre, pas seulement une mesure.

Crédits et licence — Adaptation française du cours « Teaching AI Fluency » de l’Anthropic Academy, créé par Anthropic avec Rick Dakan (Ringling College of Art and Design) et Joseph Feller (University College Cork), auteurs du cadre AI Fluency, avec le soutien de la Higher Education Authority (Irlande) à travers le National Forum for the Enhancement of Teaching and Learning. Les supports d’origine sont © 2025 Rick Dakan, Joseph Feller et Anthropic, publiés sous licence CC BY-NC-SA 4.0 ; cette adaptation, qui les traduit et les remanie, est diffusée sous la même licence.