Quand les propriétés entrent en conflit
Sur cette page
Prises une à une, les propriétés sont simples. Les erreurs les plus déroutantes naissent quand deux d’entre elles tirent dans des directions opposées. Cette leçon passe en revue les conflits les plus fréquents et propose une grille de diagnostic : face à une réponse inattendue, identifier le type d’inattendu, puis appliquer la correction qui lui correspond.
Six collisions typiques
Le cours officiel en met deux en avant, que vous croiserez souvent : la prédiction qui rencontre une lacune de connaissances (la référence inventée), et la mémoire de travail qui rencontre la pilotabilité (la dérive d’une longue conversation). En voici six, avec leur correction.
Pilotabilité contre connaissances. Vous exigez une réponse ferme sur un sujet que le modèle connaît mal. La consigne pousse à répondre, le savoir manque : le risque d’invention grimpe. Correction : autoriser l’incertitude, demander les sources, fournir des documents.
Prédiction contre vérité. La suite la plus plausible n’est pas la bonne : une référence inventée mais vraisemblable, un chiffre arrondi « au jugé ». Correction : citations exactes, vérification de chaque affirmation critique.
Mémoire de travail et pilotabilité. Des contraintes posées au début d’une longue conversation s’effacent : le contexte ancien reçoit moins d’attention, ou est sorti de la fenêtre, et le modèle suit les consignes les plus récentes. Correction : rappeler l’essentiel, ou repartir d’une conversation neuve avec l’essentiel en tête.
Mémoire de travail contre connaissances. Votre document dit une chose, l’entraînement du modèle en dit une autre (une règle a changé, votre entreprise fait autrement). Correction : dire explicitement que le document fait foi, et demander de citer le passage utilisé.
Indice contre raisonnement. Votre question contient la réponse attendue, juste ou fausse, et le modèle construit un raisonnement qui y mène. Les recherches d’Anthropic ont montré ce cas : avec un indice erroné, un raisonnement plausible peut être fabriqué pour rejoindre la réponse suggérée. Correction : poser la question sans indice, ou demander explicitement une vérification indépendante.
Pilotabilité contre caractère. Vous demandez quelque chose que les principes du modèle l’amènent à refuser ou à nuancer. Correction : préciser le contexte légitime de la demande ; si elle reste contraire à ses principes, le refus est le fonctionnement prévu, pas une panne.
La grille de diagnostic
| Symptôme | Propriété probable | Correction ciblée |
|---|---|---|
| Une référence, un chiffre ou un nom inventé | Connaissances, prédiction | Autoriser « je ne sais pas », sources, documents, recherche web |
| Une information datée | Connaissances (date limite) | Recherche web ou documents à jour |
| Un détail du document ignoré | Mémoire de travail | Document en haut, question à la fin, citations exactes |
| Une consigne du début oubliée | Mémoire de travail et pilotabilité | Rappeler la consigne, la mettre dans les instructions durables, nouvelle conversation |
| Une réponse différente à chaque essai | Prédiction | Format imposé, exemples |
| Une réponse qui confirme votre hypothèse | Indice, complaisance | Question neutre, demande de critique |
| Un format ou un ton à côté | Pilotabilité (consigne floue) | Consigne précise : public, format, longueur, exemple |
| Un refus | Caractère, sécurité | Préciser le contexte légitime, ou accepter la limite |
Du continuum à la décision
Toute tâche se situe quelque part entre capacité (le modèle y excelle, une relecture rapide suffit) et limite (le modèle y est structurellement faible, il faut des sources, des outils ou un humain). Rédiger un courriel clair est du côté capacité ; citer la jurisprudence récente d’un domaine pointu, sans document, est du côté limite. Plus votre tâche s’approche de la limite, plus vous devez apporter vous-même : documents, outils, vérification. C’est exactement ce que le cadre AI Fluency appelle le Discernement et la Diligence.
À vous de jouer
Le diagnostic. Reprenez votre fiche de la leçon 5, et ajoutez-y deux ou trois réponses d’IA qui vous ont réellement déçu ou surpris. Pour chacune, nommez avec la grille la ou les propriétés en cause, appliquez la correction ciblée, et notez si le résultat s’améliore. Vous pouvez soumettre votre diagnostic à l’IA elle-même, mais pensez à la complaisance de la leçon 3 : si elle se range trop vite à votre avis, demandez-lui de le contester. Enfin, reprenez votre liste de tâches de la leçon 1 et, pour celles qui vous ont posé le plus de problèmes, notez les deux propriétés qui se rencontraient.
Sources officielles : When Properties Collide (Claude Academy, programme du cours) · Reduce hallucinations · Tracing the thoughts of a large language model · Prompting best practices
Points clés à retenir
- Deux paires à reconnaître : prédiction et connaissances (le précis inventé), mémoire de travail et pilotabilité (la dérive)
- Les erreurs déroutantes viennent souvent d’un conflit entre deux propriétés
- Diagnostiquer d’abord (quel type d’inattendu ?), corriger ensuite de façon ciblée
- Plus une tâche est proche de la limite, plus il faut apporter documents, outils et vérification
- Un refus conforme aux principes du modèle n’est pas une panne