Workflow d'évaluation type

Avant d’écrire du code, prenons la vue d’ensemble. Un workflow d’évaluation suit toujours les mêmes cinq étapes. Il existe des outils libres et payants pour l’outiller, mais comprendre la mécanique permet de commencer petit et de grandir ensuite : c’est ce pipeline minimal que nous construirons dans les prochaines leçons.

Étape 1 : un premier prompt

Commencez par un prompt simple, celui que vous voulez améliorer :

prompt = f"""
Réponds à la question de l'utilisateur :

{question}
"""

C’est un gabarit : la variable {question} change à chaque exécution, ce qui permettra de confronter le prompt à de nombreuses entrées. Inutile de le peaufiner : vous ne saurez s’il est bon qu’après l’avoir mesuré.

Étape 2 : un jeu de données d’évaluation

Le jeu de données contient les entrées que vous injecterez dans le prompt. Notre prompt n’a qu’une entrée, la question, il faut donc une collection de questions. Vous pouvez l’écrire à la main ou la faire générer par Claude. En production, on compte des dizaines, des centaines, voire des milliers de cas ; pour commencer, trois suffisent :

• Combien font 2+2 ?
• Comment préparer des flocons d’avoine ?
• À quelle distance se trouve la Lune ?

La variété est voulue : un calcul, une procédure, un fait. Chaque famille d’entrées peut révéler une faiblesse différente.

Étape 3 : passer chaque cas dans Claude

Pour chaque question, on fusionne le gabarit et l’entrée, on envoie le prompt complet à Claude et on garde la réponse. On obtient des paires question et réponse, la matière première de la notation.

Étape 4 : passer chaque réponse dans un évaluateur

Chaque paire est soumise à un évaluateur qui la note, en général de 1 à 10 : 10 pour une réponse parfaite, 4 pour une réponse nettement perfectible, 1 pour une réponse mauvaise ou fausse. Dans l’exemple du cours officiel, les trois réponses obtiennent 10, 4 et 9, soit une moyenne de 7,67 (le cours officiel tronque à 7,66). Ce chiffre seul ne dit pas grand-chose : sa valeur est comparative.

Étape 5 : modifier le prompt et recommencer

Avec cette référence, on peut itérer. Par exemple, en demandant plus de détail :

prompt = f"""
Réponds à la question de l'utilisateur :

{question}

Réponds avec suffisamment de détails.
"""

On repasse ce nouveau prompt dans tout le pipeline, avec le même jeu de données et le même évaluateur pour que la comparaison soit honnête. Dans l’exemple du cours officiel, la version 1 obtient 7,67 et la version 2 obtient 8,7 : l’ajout a amélioré le prompt sur l’ensemble des cas, pas sur une impression. Le raisonnement vaut dans les deux sens : si la version 2 avait obtenu 6,9, vous auriez gardé la version 1 en sachant pourquoi.

À vous de jouer

Le pipeline sur papier. Pour le prompt choisi à la leçon 11, écrivez les cinq étapes : le gabarit et ses variables, trois entrées de test, la façon dont vous noteriez une réponse, puis la première modification que vous testeriez.

Sources officielles : A typical eval workflow (Claude Academy) · Define success criteria and build evaluations (documentation Claude)

Points clés à retenir

• Cinq étapes : gabarit de prompt, jeu de données, exécution, notation, itération.
• Le premier prompt est une référence à mesurer, pas à peaufiner.
• Variez les familles d’entrées : chacune peut révéler une faiblesse différente.
• Une note moyenne n’a de sens que comparée, avec le même jeu de données et le même évaluateur.