Omezení a halucinace ChatGPT
Na této stránce
Co ChatGPT neumí a proč na tom záleží
Umět pracovat s ChatGPT znamená především vědět, kde selhává. Nástroj je sice výkonný, ale má nedostatky, které sama zkušenost nevyřeší – musíš se naučit je obcházet. Tato lekce je pravděpodobně tou nejdůležitější v celém kurzu, protože odděluje uživatele, kteří si informace ověřují, od těch, kteří jednou s jistotou budou šířit dezinformace. OpenAI to ve svých podmínkách užívání uvádí zcela jasně: odpověď může být nepřesná, neměla by být tvým jediným zdrojem pravdy ani nahrazovat odborné poradenství a ty neseš odpovědnost za posouzení její správnosti.
Halucinace: Když si model vymýšlí
Halucinace je odpověď, která vypadá naprosto správně – sebevědomý tón a bezchybná struktura –, ale fakticky je chybná. ChatGPT nelže; generuje nejpravděpodobnější pokračování na základě naučených vzorců a toto pokračování je někdy nesprávné. Když něco „neví“, ne vždy se zastaví a nepřizná to; místo toho může vygenerovat odpověď, která zní věrohodně.
OpenAI popisuje nejčastější formy: chybné definice, data nebo fakta; vymyšlené citace, studie či odkazy připisované neexistujícím zdrojům; a příliš sebevědomé odpovědi na nejednoznačné nebo složité otázky. Existuje ještě jedna past, na kterou mnoho uživatelů narazí až po špatné zkušenosti: ChatGPT nedokáže spolehlivě rozpoznat, zda byl text napsán umělou inteligencí, nebo zda ho napsal sám. Jeho odpověď na otázku „Napsal jsi tuto esej?“ nic neprokazuje.
Obrana spočívá ve čtyřech návycích. Nezávisle si ověř jakoukoli klíčovou informaci: čísla, data, jména, zdroje. Nech odpověď ukotvit správnými nástroji: pro aktuální události a konkrétní fakta použij vyhledávání na webu, pro výpočty analýzu dat a pro křížovou kontrolu více zdrojů hloubkový výzkum. Požádej o zdroje a poté je otevři: odkaz, který tvrzení nepodporuje, je stejně dobrý jako žádný zdroj. Nakonec u složitých otázek zvyš úroveň uvažování: riziko sice zcela neodstraníš, ale dáš modelu čas projít si svou logiku.
Co model nemůže vědět
Znalosti modelu končí datem uzávěrky. Bez vyhledávání na webu je pro něj vše, co se stalo po tomto datu, neviditelné, a nemusí si ani uvědomovat, že mu chybí informace. S povoleným vyhledáváním na webu se objevuje další limit: některé stránky zůstávají nedostupné kvůli technickým problémům, placenému obsahu (paywall) nebo protože blokují boty.
Pokrytí se také liší podle tématu. U dobře zdokumentovaných témat jsou odpovědi často vynikající; u niche nebo zřídka popisovaných témat může kvalita prudce klesnout a nic v tónu tě na to neupozorní. OpenAI také upozorňuje na zkreslení: prezentování jediného pohledu jako absolutní pravdy, zjednodušování nuancí nebo zkreslování váhy vědeckého konsenzu či společenské debaty. U citlivých témat si informace ověř z jiných zdrojů.
Limity uvažování
Víceúrovňové výpočty zůstávají slabým místem, pokud je model dělá „v hlavě“ přímo v textu odpovědi. U jakéhokoli výpočtu, který ovlivní rozhodnutí, požádej model, aby použil analýzu dat, která spustí kód, a výsledek zkontroluj ve specializovaném nástroji. Velmi dlouhé řetězce uvažování nesou stejné riziko: vlákno se ztratí a cestou se proplíží nekonzistence. Počítání je další kontraintuitivní chyba: sčítání písmen, slov nebo položek může model zmást, i když by to zvládlo dítě.
Praktická omezení konverzace
Každá konverzace má kontextové okno – množství informací, které může ChatGPT v daném vlákně použít. Tvé zprávy i jeho odpovědi zabírají místo a několik velmi dlouhých výměn může spotřebovat více než mnoho krátkých: neexistuje tedy pevný počet zpráv na konverzaci. Velikost tohoto okna se zvyšuje s tvým tarifem. Když je plné, ChatGPT ti to oznámí („Context window full“): vlákno si můžeš prohlédnout a poté okamžitě zahájit novou konverzaci, případně se shrnutím poskytnutým ChatGPT. Toto shrnutí může vynechat starou instrukci nebo přesné znění: znovu připoj to podstatné.
Stejný efekt platí pro dlouhé výstupy: pokud necháš model napsat dvacetistránkový dokument část po části, mohou se mezi částmi objevit rozpory. Kompletní revize není volitelná a označené nekonzistence lze opravit v jediné zprávě.
Vyzkoušej si to sám
Otestuj limity na vlastní kůži. Požádej o konkrétní citaci francouzského autora i se zdrojem a poté si ji sám vyhledej pomocí vyhledávače. Zeptej se na velmi nedávnou událost bez vyhledávání na webu a poté se zeptej znovu s povoleným vyhledáváním. Nech model provést pětikrokový výpočet „v hlavě“, poté prostřednictvím analýzy dat a nakonec si ho přepočítej ručně. Nakonec se zeptej, kolikrát se písmeno R vyskytuje ve slově „extraordinary“, a poté si to spočítej sám. Tato cvičení ti vytvoří intuitivní cit – spolehlivější než jakékoli naučené pravidlo – pro to, kdy je třeba si informace ověřit.
Čekají na tebe dvě úskalí. Prvním je slepá důvěra: čím vyšší jsou sázky, tím přísnější musí být tvoje kontrola. Druhým je opačný extrém: obviňování nástroje, když byl tvůj prompt vágní. Než dospěješ k závěru, že došlo k chybě, přeformuluj svůj požadavek.
Oficiální zdroje: Does ChatGPT tell the truth? (Centrum nápovědy OpenAI: halucinace, nástroje, datum uzávěrky, zkreslení, detekce textu od AI) · ChatGPT Free Tier FAQ (celá konverzace) · Europe Terms of Use (přesnost odpovědí) · Data analysis with ChatGPT (výpočty prováděné v Pythonu)
Klíčové poznatky
- Halucinace pramení ze způsobu, jakým ChatGPT funguje: generuje věrohodný text, ne nutně pravdivý text
- Vždy si ověřuj klíčová fakta, citace, zdroje a čísla; ChatGPT nedokáže spolehlivě detekovat text napsaný AI
- Vyhledávání na webu, analýza dat a hloubkový výzkum riziko snižují, ale neodstraňují ho
- Konverzace mají omezené kontextové okno: když je plné, zahaj nové vlákno s tím podstatným
- Znalost těchto limitů nesnižuje užitečnost ChatGPT – činí tě efektivnějším