Les limites et hallucinations de ChatGPT

Ce que ChatGPT ne sait pas faire, et pourquoi cela compte

Savoir se servir de ChatGPT, c’est d’abord savoir où il achoppe. L’outil est puissant, mais il présente des failles qui ne disparaissent pas avec l’expérience : elles se contournent. Cette leçon est sans doute la plus décisive de la formation, parce qu’elle sépare l’utilisateur qui vérifie de celui qui diffusera un jour une information fausse avec assurance. OpenAI le dit lui-même dans ses conditions d’utilisation : une réponse peut être inexacte, elle ne doit pas être votre seule source de vérité ni remplacer l’avis d’un professionnel, et c’est à vous d’en évaluer la justesse.

Les hallucinations : quand le modèle invente

Une hallucination est une réponse qui a toutes les apparences de la justesse, formulation assurée et structure impeccable, et qui est factuellement fausse. ChatGPT ne ment pas : il produit la suite la plus probable à partir de motifs appris, et cette suite est parfois inexacte. Quand il ne « sait » pas, il ne s’arrête pas toujours pour le dire ; il peut générer une réponse plausible.

OpenAI en décrit les formes les plus courantes : des définitions, des dates ou des faits incorrects ; des citations, des études ou des références inventées, attribuées à des sources qui n’existent pas ; des réponses trop sûres d’elles sur des questions ambiguës ou complexes. S’y ajoute un piège que l’on découvre souvent à ses dépens : ChatGPT ne sait pas dire de manière fiable si un texte a été écrit par une IA, ni s’il l’a écrit lui-même. Sa réponse à « As-tu écrit cet essai ? » ne prouve rien.

La parade tient en quatre réflexes. Vérifiez indépendamment toute information critique : chiffre, date, nom, source. Laissez travailler les outils qui ancrent la réponse : la recherche web pour l’actualité et les faits pointus, l’analyse de données pour les calculs, la recherche approfondie pour croiser de nombreuses sources. Demandez les sources, puis ouvrez-les : un lien qui ne dit pas ce qu’on lui prête vaut une absence de source. Montez enfin le niveau de réflexion sur les questions délicates : vous ne supprimez pas le risque, mais vous donnez au modèle le temps de dérouler son raisonnement.

Ce que le modèle ne peut pas savoir

Les connaissances du modèle s’arrêtent à une date de coupure. Sans recherche web, ce qui s’est produit après lui est invisible, et il n’en a pas forcément conscience. Avec la recherche, une autre limite apparaît : certains sites lui restent inaccessibles, pour des raisons techniques, derrière un paywall ou parce qu’ils refusent les robots.

La couverture est aussi inégale selon les sujets. Sur un domaine largement documenté, les réponses sont souvent excellentes ; sur un sujet de niche ou peu écrit, la qualité peut chuter, et rien dans le ton ne vous en avertit. OpenAI signale enfin des biais : présenter une seule perspective comme une vérité absolue, simplifier à l’excès une question nuancée, mal restituer le poids d’un consensus scientifique ou d’un débat de société. Sur les sujets sensibles, croisez avec d’autres sources.

Les limites de raisonnement

Un calcul en plusieurs étapes reste un point faible quand il est fait « de tête », dans le texte de la réponse. Pour un calcul qui engage une décision, demandez qu’il passe par l’analyse de données, qui exécute du code, et recoupez avec un outil dédié. Les raisonnements très longs exposent au même risque : le fil se perd, des incohérences s’introduisent en route. Le comptage, enfin, est un défaut contre-intuitif : dénombrer des lettres, des mots ou des éléments peut lui poser problème, alors qu’un enfant y parvient.

Les limites pratiques d’une conversation

Chaque conversation dispose d’une fenêtre de contexte, la quantité d’information que ChatGPT peut utiliser dans ce fil. Vos messages comme ses réponses y prennent de la place, et quelques échanges très longs peuvent en consommer plus que beaucoup de messages courts : il n’y a donc pas de nombre fixe de messages par conversation. La taille de cette fenêtre augmente avec l’offre. Quand elle est pleine, ChatGPT l’indique (« Context window full ») : vous pouvez toujours relire le fil, et ouvrir aussitôt une nouvelle conversation, éventuellement avec un résumé proposé par ChatGPT. Ce résumé peut perdre une consigne ancienne ou une formulation exacte : recollez ce qui compte.

Le même effet joue sur les productions longues : faites rédiger un document de vingt pages section par section, et des contradictions peuvent apparaître entre les parties. La relecture d’ensemble n’est pas facultative, et les incohérences signalées se corrigent en un message.

À vous de jouer

Éprouvez les limites vous-même. Demandez une citation précise d’un auteur français, avec sa source, et cherchez-la vous-même avec un moteur de recherche. Posez une question sur un événement très récent en demandant de répondre sans chercher sur le web, puis reposez-la avec la recherche. Faites faire un calcul en cinq étapes « de tête », puis par l’analyse de données, et refaites-le à la main. Demandez enfin combien de fois la lettre R apparaît dans « extraordinaire », puis comptez. Ces essais donnent un sens intuitif, plus fiable qu’une règle apprise, du moment où il faut vérifier.

Deux travers guettent ensuite. La confiance aveugle d’abord : plus l’enjeu est élevé, plus le contrôle doit être serré. L’excès inverse ensuite, accuser l’outil quand la demande était floue : avant de conclure à l’erreur, reformulez.

Sources officielles : Does ChatGPT tell the truth? (centre d’aide OpenAI : hallucinations, outils, date de coupure, biais, détection de textes d’IA) · ChatGPT Free Tier FAQ (conversation pleine) · Europe Terms of Use (exactitude des réponses) · Data analysis with ChatGPT (calculs exécutés en Python)

Points clés à retenir

• Les hallucinations découlent du fonctionnement même de ChatGPT : il génère du plausible, pas forcément du vrai
• Vérifiez toujours les faits critiques, citations, sources et chiffres ; ChatGPT ne détecte pas de façon fiable les textes écrits par une IA
• Recherche web, analyse de données et recherche approfondie réduisent le risque sans le supprimer
• Une conversation a une fenêtre de contexte limitée : quand elle est pleine, repartez d’un nouveau fil avec l’essentiel
• Connaître ces limites ne diminue pas l’utilité de ChatGPT : cela vous rend plus efficace