Évaluation de prompts
Mesurez vos prompts au lieu de les deviner : critères de réussite, jeu de cas, notation par code, promptfoo, juge LLM, puis choix du modèle au coût par tâche réussie et évaluations en production (CI, lots, dérive).
Objectifs pédagogiques
À l'issue de cette formation, vous serez capable de :
- Définir des critères de réussite mesurables et un seuil d'exactitude à partir du coût d'une erreur
- Concevoir un jeu de cas représentatif, cas limites compris, avec des réponses attendues écrites à l'avance
- Écrire des évaluations notées par code (égalité, ensembles, schémas) et lire les échecs pour corriger le prompt
- Mettre en place une suite d'évaluations avec promptfoo : fournisseurs, prompts, tests CSV ou YAML, assertions intégrées et notateurs Python
- Utiliser un modèle comme juge (llm-rubric ou juge personnalisé) avec une grille, un verdict structuré et un contrôle humain
- Choisir un modèle au coût par tâche réussie et faire vivre l'évaluation en production : pull requests, API de lots, échantillon nocturne
Fiche pédagogique
- Public visé
- Développeurs, ingénieurs et intégrateurs souhaitant exploiter Claude par API dans leurs applications.
- Prérequis
- Pratique courante de Python, notions d'API REST et de format JSON ; avoir suivi « Prompting en situations réelles » ou connaître les techniques de prompting de base.
- Durée
- 2h30 — 9 leçons
- Modalités
- Formation 100 % en ligne, en autonomie, accessible 24h/24 depuis un navigateur. Progression enregistrée, reprise possible à tout moment. Durée estimée : 2h30.
- Évaluation
- Exercices d'application proposés au fil des leçons, à partir d'une évaluation que vous construisez sur votre propre tâche. Chaque leçon se termine par ses points clés, support de l'auto-évaluation. Un quiz final de 6 questions corrigées, en fin de dernière leçon, permet de valider les acquis.
- Accessibilité
- Formation accessible aux personnes en situation de handicap : contenus textuels compatibles avec les lecteurs d'écran, navigation au clavier et contrastes conformes. Pour tout besoin d'adaptation, écrivez à [email protected].
- Tarif
- Gratuit — accès immédiat après inscription
- Reconnaissance
- Attestation de fin de formation délivrée par Corsen AI, vérifiable en ligne. Non éligible au CPF à ce jour. Qualité et financement
- Programme
- Télécharger le programme (PDF)