D'où vient le caractère d'une IA

Un modèle tout juste entraîné à prédire du texte n’est pas un assistant. Il ne répond pas spontanément aux questions, ne suit pas les consignes et n’a pas de manière d’être stable. Ce qui fait de Claude un interlocuteur honnête, curieux et prudent vient d’étapes d’entraînement successives. Les comprendre aide à interpréter son ton, ses refus et ses prises de position.

Trois étapes

1. Le préentraînement. D’après le glossaire d’Anthropic, le modèle est d’abord entraîné sur un vaste corpus de texte à prédire le mot suivant, compte tenu du contexte qui précède. Un modèle préentraîné n’est pas naturellement bon pour répondre à des questions ou suivre des instructions. Tapez « Quelle est la capitale du Portugal ? » : il peut très bien enchaîner d’autres questions de quiz au lieu de répondre, parce qu’il prolonge un document et n’a aucune notion d’aider qui que ce soit.

2. L’affinage et le RLHF. Le modèle est ensuite affiné (fine-tuning) sur des données supplémentaires, puis entraîné par apprentissage par renforcement à partir de retours humains (RLHF) : des humains classent plusieurs réponses, et l’entraînement pousse le modèle vers celles qui ont été préférées. Claude a été entraîné ainsi pour devenir un assistant plus utile.

3. L’entraînement du caractère. Anthropic explique qu’à partir de Claude 3, un entraînement du caractère a été ajouté à cette phase d’alignement — la partie de l’entraînement qui transforme un modèle de prédiction de texte en assistant. Son but : des traits plus riches que le simple fait d’éviter le mal, comme la curiosité, l’ouverture d’esprit et la réflexion.

Pourquoi un caractère, et lequel

Anthropic écrit que les traits d’un modèle ne sont pas une fonctionnalité cosmétique : ils déterminent comment il réagit aux situations nouvelles et difficiles, et comment il répond à la diversité des opinions humaines. Face à des interlocuteurs aux convictions très variées, Anthropic a écarté trois solutions : adopter l’avis de chaque interlocuteur (flatteur et insincère), adopter des positions « moyennes » (une vision unique du monde, même modérée), ou n’avoir aucune opinion (alors que les modèles acquièrent des biais pendant l’entraînement). Le choix retenu : être honnête sur les tendances qu’il a, même face à un désaccord, avec ouverture d’esprit et curiosité pour le point de vue de l’autre.

Les empreintes de l’affinage

Parce que l’affinage s’appuie sur des jugements humains sur ce qu’est une bonne réponse, il laisse des traces. Le cours officiel en relève quatre, présentes chez tous les assistants, à des degrés qui varient d’un modèle à l’autre :

• la complaisance : valider trop vite, et céder à la première objection même quand la première réponse était juste. Une étude d’Anthropic publiée en 2023 a observé ce comportement de façon constante chez cinq assistants de pointe, et montré que les jugements humains préfèrent plus souvent les réponses qui rejoignent les convictions de la personne ;
• la verbosité : des réponses longues par défaut, parce que l’exhaustivité est souvent mieux notée, même quand une phrase suffirait ;
• l’excès de prudence : des précautions ou des refus sur des demandes sans danger ;
• une assurance mal calibrée : le ton du modèle ne reflète que de loin sa fiabilité réelle.

Savoir les nommer change la lecture : un assistant qui cède dès que vous insistez montre de la complaisance, pas une preuve que vous aviez raison.

La constitution de Claude

Anthropic publie la constitution de Claude, une description détaillée de ses intentions pour les valeurs et le comportement du modèle. Elle joue un rôle central dans l’entraînement et sert d’autorité finale sur la vision d’Anthropic. Elle demande à Claude d’être, dans cet ordre de priorité en cas de conflit apparent :

1. globalement sûr : ne pas saper les mécanismes humains de supervision de l’IA pendant la phase actuelle de développement ;
2. globalement éthique : honnête, guidé par de bonnes valeurs, en évitant les actions inappropriées, dangereuses ou nuisibles ;
3. conforme aux lignes directrices d’Anthropic, plus précises, quand elles s’appliquent ;
4. réellement utile aux opérateurs et aux utilisateurs avec qui il travaille.

Anthropic ajoute une précision importante : entraîner un modèle est difficile, et le comportement de Claude peut ne pas toujours refléter ces idéaux ; les écarts sont documentés notamment dans les fiches système (system cards). La constitution est publiée sous licence CC0.

Ce que cela change pour vous

• Le ton de l’assistant, son goût pour la nuance et ses refus ne sont pas des hasards : ils viennent de cet entraînement.
• Un refus suit en général une logique de sécurité ou d’éthique ; reformuler pour contourner n’est ni utile ni souhaitable, préciser le contexte légitime d’une demande l’est.
• L’IA a des tendances et peut exprimer un désaccord : traitez ses avis comme ceux d’un collègue informé mais faillible, pas comme un verdict.

À vous de jouer

Repérer les empreintes sur votre travail. Prenez dans votre liste une tâche dont vous savez juger le résultat.

1. Lancez-la comme d’habitude, et gardez la réponse.
2. Relancez-la en ouvrant par une hypothèse fausse, par exemple « Je pense que ce plan est sans faille » : l’IA vous suit-elle ou vous contredit-elle ? Recommencez en l’invitant explicitement à vous contredire si elle pense que vous avez tort, et comparez.
3. Posez une question liée à la tâche qui appelle une réponse d’une phrase, puis la même avec « réponds en une phrase » : l’écart de longueur mesure la verbosité par défaut.

Notez l’empreinte la plus visible sur votre travail, et où elle vous coûterait le plus.

Sources officielles : How AI Gets Its Character (Claude Academy, programme du cours) · Towards Understanding Sycophancy in Language Models (Anthropic, 2023) · Claude’s character · Claude’s constitution · Glossary

Points clés à retenir

• Préentraînement (prédire le mot suivant), affinage et RLHF, puis entraînement du caractère : c’est ce qui fait un assistant
• Le caractère vise l’honnêteté, la curiosité et l’ouverture d’esprit, pas la flatterie ni la neutralité de façade
• La constitution de Claude ordonne ses priorités : sûr, éthique, conforme aux lignes directrices, réellement utile
• Le comportement peut s’écarter des idéaux : l’IA reste faillible
• Quatre empreintes de l’affinage à surveiller : complaisance, verbosité, excès de prudence, assurance mal calibrée