Les connaissances

Un modèle de langage sait énormément de choses, mais d’une manière particulière : ses connaissances viennent de ses données d’entraînement, s’arrêtent à une date, sont inégales selon les sujets, et ne sont pas rangées comme dans une base de données. C’est la propriété qui explique le phénomène le plus redouté : l’hallucination.

D’où vient le savoir du modèle

Le modèle a appris en prédisant du texte sur un immense corpus. Il en retient des faits, des concepts et des relations, mais sous une forme diffuse : il ne retrouve pas une fiche, il reconstruit une réponse. Trois conséquences :

• Une date limite. La documentation d’Anthropic distingue la date limite des connaissances fiables — jusqu’à laquelle le savoir du modèle est le plus étendu et le plus sûr — de la date limite des données d’entraînement, plus large. Pour les modèles Claude actuels, toutes deux sont fixées à juin 2026. Après cette date, le modèle ne sait rien, sauf si un outil (recherche web, documents fournis) lui apporte l’information.
• Un savoir inégal. Ce qui est abondamment documenté est bien connu ; un sujet de niche, un acteur local, un fait récent le sont beaucoup moins.
• Pas de source automatique. Sans outil ni document, le modèle ne peut pas indiquer d’où vient ce qu’il affirme.

Un continuum, de l’abondant au rare

La bonne question n’est pas « l’IA sait-elle cela ? », mais « à quel point ce sujet était-il représenté dans ce qu’elle a lu ? ». Les sujets fréquents, documentés de façon cohérente et antérieurs à la date limite — les sciences établies, les langages de programmation répandus, l’histoire bien documentée — forment la zone de capacité. Les sujets rares, récents, locaux, contestés, ou dans une langue moins représentée, tirent vers la zone de limite.

Le même apprentissage donne une force réelle : les notions qui apparaissent ensemble dans les textes se retrouvent proches dans les représentations internes du modèle, ce qui lui permet de relier spontanément des domaines différents. Il donne aussi des échecs typiques : des informations périmées, une couverture inégale, des biais hérités dans ce que le modèle tient pour normal ou par défaut, et l’oubli des sources : le modèle ne sait généralement pas dire d’où il tient ce qu’il affirme.

L’hallucination, et pourquoi elle arrive

La documentation d’Anthropic définit l’hallucination comme un texte factuellement incorrect ou incohérent avec le contexte fourni. Ses recherches d’interprétabilité en éclairent le mécanisme. Chez Claude, refuser de répondre est le comportement par défaut : un circuit, actif par défaut, lui fait dire qu’il n’a pas assez d’information. Quand on l’interroge sur quelque chose qu’il connaît bien, une caractéristique correspondant aux « entités connues » s’active et inhibe ce refus par défaut. L’hallucination survient quand ce mécanisme se déclenche à tort : par exemple quand Claude reconnaît un nom sans rien savoir d’autre sur la personne. Le sentiment de familiarité désactive la prudence, et le modèle produit une réponse plausible mais fausse.

Retenez le cas typique : un nom propre familier, une référence précise (article, chiffre, date, citation) sur un sujet peu documenté.

Les corrections officielles

Le guide d’Anthropic pour réduire les hallucinations propose des techniques simples :

• Autoriser le « je ne sais pas » : dire explicitement au modèle qu’il peut reconnaître son incertitude. Cette seule consigne peut réduire fortement les informations fausses.
• S’appuyer sur des citations exactes : pour un long document (plus de 20 000 jetons), demander d’abord d’extraire mot pour mot les passages pertinents, puis de raisonner uniquement à partir d’eux.
• Vérifier par les citations : demander une citation ou une source pour chaque affirmation, et retirer toute affirmation sans appui.
• Fournir les sources : donner les documents dans la conversation, ou activer la recherche web, plutôt que de compter sur la mémoire du modèle. C’est le principe de la génération augmentée par la recherche (RAG).
• Brancher des outils : la recherche web contourne la date limite, les connecteurs MCP donnent accès à vos documents, un outil de calcul ou une base de données remplace un souvenir approximatif. Sans ces outils, vous vous fiez entièrement à ce que le modèle a appris.

Retrouver par le sens : les embeddings

La recherche documentaire branchée sur un modèle s’appuie souvent sur des embeddings. Un modèle d’embeddings transforme un texte en une longue liste de nombres, souvent de l’ordre du millier, qui sert d’adresse dans un espace de sens : deux textes au sens voisin y sont proches, même sans mot en commun. « Voiture » et « mon véhicule doit passer au contrôle technique » se retrouvent près l’un de l’autre, là où une recherche par mots-clés les séparerait. Retrouver un document revient alors à chercher les points les plus proches de la question, avec une mesure comme la similarité cosinus. Personne ne choisit ce que représente chaque dimension : le sens de l’espace émerge de l’entraînement.

Situer votre tâche

À vous de jouer

Le test du non-initié. Prenez une tâche de votre liste et notez, pour son domaine : deux sujets courants et stables, que tout collègue informé connaît ; deux sujets pointus, locaux ou récents ; une idée reçue que les gens extérieurs à votre métier ont souvent.

1. La couverture. Interrogez l’IA sur un sujet courant puis sur un sujet pointu. Comparez la profondeur et l’exactitude, et le ton : l’incertitude est-elle signalée différemment ?
2. La péremption. Interrogez-la sur un changement récent de votre domaine : une règle modifiée, un outil sorti, une nomination. Signale-t-elle sa date limite, ou présente-t-elle l’ancien comme actuel ?
3. Les présupposés. Sans dévoiler votre idée reçue, posez une question qui la révélerait, par exemple « décris le client type de ce métier ». Que tient-elle pour normal ?

Annotez votre liste de tâches : pour chacune, pouvez-vous vous appuyer sur le savoir du modèle, ou devez-vous l’apporter vous-même, par des documents ou une recherche ? Pour aller plus loin, refaites l’étape 2 avec la recherche web activée.

Sources officielles : Knowledge (Claude Academy, programme du cours) · Try It Out: Knowledge (Claude Academy, explorateur des embeddings) · Models overview · Reduce hallucinations · Tracing the thoughts of a large language model

Points clés à retenir

• Échecs typiques : informations périmées, couverture inégale, biais hérités sur ce qui est « normal », sources oubliées
• Recherche web, connecteurs et outils prolongent le savoir du modèle au moment de répondre
• Le savoir du modèle vient de l’entraînement, s’arrête à une date (juin 2026 pour les Claude actuels) et varie selon les sujets
• Le modèle reconstruit plutôt qu’il ne retrouve ; il ne cite pas de source sans outil ni document
• Chez Claude, le refus est le comportement par défaut ; l’hallucination naît d’une familiarité qui l’inhibe à tort
• Corrections : autoriser « je ne sais pas », citations exactes, vérification par sources, documents ou recherche web