La prédiction du prochain jeton

Au cœur d’un modèle de langage, il y a une opération simple, répétée des milliers de fois : prédire la suite. Le modèle a été entraîné à deviner le mot suivant compte tenu de ce qui précède ; pour écrire une réponse, il prédit un jeton, l’ajoute, prédit le suivant, et ainsi de suite. Cette propriété explique à la fois l’aisance remarquable de l’IA et une bonne partie de ses erreurs.

Ce que la prédiction explique

L’aisance. Prédire la suite d’un texte, sur des milliards d’exemples, oblige le modèle à capter la grammaire, le style, les raisonnements types, les structures de documents. D’où des textes fluides, dans n’importe quel registre.

La plausibilité plutôt que la vérité. Le modèle produit la suite la plus plausible. Le plus souvent, plausible et vrai coïncident ; quand le modèle manque d’information, il peut produire une suite plausible mais fausse, avec le même ton assuré. Les recherches d’Anthropic le résument ainsi : l’entraînement des modèles de langage pousse par nature à l’hallucination, puisque le modèle est toujours censé proposer un mot suivant. Tout l’enjeu est de lui apprendre à ne pas le faire — ce que la leçon sur les connaissances détaille.

La variabilité. Deux demandes identiques peuvent produire deux réponses différentes. Le glossaire d’Anthropic précise que les résultats ne sont pas totalement déterministes : des entrées identiques peuvent donner des sorties différentes d’un appel à l’autre. Pour une tâche où la constance compte, on fixe le format, on donne des exemples, et on vérifie.

Chemins balisés et terrain neuf

Le même processus tourne toujours ; ce qui change, c’est la densité des exemples sur lesquels il s’appuie. Résumer, reformater, expliquer une notion courante, écrire dans un style familier : le modèle a vu ces tâches sous d’innombrables formes, c’est sa zone de capacité. À mesure que le terrain devient rare, nouveau ou pointu, les régularités s’amenuisent : le modèle continue d’écrire avec la même aisance, mais le sol devient instable. C’est encore plus net quand la tâche exige de distinguer le vrai du vraisemblable.

L’invention se concentre dans le précis : noms, dates, chiffres, citations, extraits, adresses web. Une référence a une forme reconnaissable — un titre, une revue, des auteurs plausibles — et une référence inventée peut satisfaire cette forme aussi bien qu’une vraie. Plus une affirmation est précise, plus elle mérite d’être vérifiée.

Plus qu’un mot à la fois

« Prédire le mot suivant » ne veut pas dire « ne penser qu’au mot suivant ». Les travaux d’interprétabilité d’Anthropic, qui observent l’intérieur du modèle, montrent par exemple que Claude planifie à l’avance : en poésie, il envisage la rime qu’il vise avant d’écrire la ligne qui y mène. Le modèle est entraîné à produire un mot à la fois, mais il peut raisonner sur un horizon bien plus long.

Ces mêmes travaux montrent une limite instructive : quand on lui soumet un problème difficile accompagné d’un indice erroné, Claude peut produire un raisonnement d’apparence solide conçu pour rejoindre la réponse suggérée, plutôt que de suivre réellement les étapes logiques. Autrement dit, une explication bien construite n’est pas une preuve que le raisonnement a vraiment eu lieu ainsi.

Réfléchir avant de répondre

Les modèles actuels peuvent réfléchir avant de répondre : produire un raisonnement intermédiaire, puis la réponse. Pour les problèmes en plusieurs étapes — calcul, analyse, débogage — cela améliore nettement les résultats, et les applications comme les API laissent régler l’ampleur de cette réflexion. La réflexion n’élimine pas les limites de la prédiction, mais elle donne au modèle la place de vérifier ses étapes.

Ce que les produits ajoutent

Plusieurs fonctions existent précisément pour repousser cette limite : les citations et l’ancrage dans des sources, qui permettent de distinguer ce qui est appuyé de ce qui est généré ; le signalement de l’incertitude, quand le modèle dit qu’il n’est pas sûr ; les sorties structurées, qui réduisent l’espace où une invention peut se glisser ; et les boucles où un second passage vérifie le résultat du premier. Quand votre outil propose des citations, servez-vous-en : le modèle ne sait pas toujours distinguer lui-même l’appuyé de l’inventé.

Ce que cela implique pour vous

• Une réponse fluide n’est pas une réponse vraie : l’aisance est garantie, l’exactitude non.
• Ne glissez pas votre conclusion dans la question si vous voulez un avis indépendant : un indice, juste ou faux, oriente la suite.
• Pour les tâches où la régularité compte, imposez un format et des exemples.
• Pour un raisonnement complexe, laissez le modèle réfléchir, puis vérifiez les étapes clés vous-même.

À vous de jouer

Le test de vérification. Choisissez dans votre liste la tâche où votre expertise est la plus solide, et notez cinq faits vérifiables de ce domaine : un titre, une date, un chiffre, une citation, une adresse web.

1. La zone de capacité. Demandez l’explication d’une notion très connue de votre domaine. Notez l’aisance, vérifiez quelques points.
2. Le précis sous pression. Demandez cinq éléments vérifiables : trois sources, un auteur, des chiffres exacts, une adresse web. Vérifiez-les un par un et notez le résultat sur cinq. Si quelque chose est inventé, notez le ton employé.
3. L’échantillonnage. Reposez exactement la même demande dans une nouvelle conversation et comparez : ce qui change d’une fois à l’autre, c’est la prédiction qui tire sa suite.

Pour aller plus loin, refaites l’étape 2 avec un outil qui cite ses sources, comme la recherche web, et comparez la note. Auriez-vous repéré les inventions dans un domaine que vous connaissez mal ?

Sources officielles : Next Token Prediction (Claude Academy, programme du cours) · Citations · Structured outputs · Glossary · Tracing the thoughts of a large language model

Points clés à retenir

• L’invention se concentre dans le précis : noms, dates, chiffres, citations, adresses web
• Citations, signalement de l’incertitude, sorties structurées et boucles de vérification repoussent cette limite
• Le modèle génère en prédisant la suite la plus plausible, jeton après jeton
• Plausible n’est pas vrai : l’aisance est constante, l’exactitude dépend de ce que le modèle sait
• Les réponses varient d’un appel à l’autre ; le format et les exemples stabilisent
• Le modèle planifie à l’avance, mais une explication convaincante n’est pas une preuve : un indice erroné peut l’entraîner