Obmedzenia a halucinácie ChatGPT
Na tejto strane
Čo ChatGPT nedokáže a prečo na tom záleží
Aby si vedel správne používať ChatGPT, musíš najprv pochopiť, kde zlyháva. Tento nástroj je síce výkonný, no má chyby, ktoré samotná skúsenosť neodstráni – musíš sa naučiť ich obchádzať. Táto lekcia je pravdepodobne tou najdôležitejšou v celom kurze, pretože oddeľuje používateľov, ktorí si informácie overujú, od tých, ktorí raz s istotou rozšíria dezinformácie. OpenAI to vo svojich Podmienkach používania uvádza jasne: odpoveď môže byť nepresná, nemala by byť tvojím jediným zdrojom pravdy ani nahrádzať odborné poradenstvo a ty zodpovedáš za overenie jej správnosti.
Halucinácie: Keď si model vymýšľa
Halucinácia je odpoveď, ktorá vyzerá úplne správne – má sebavedomý tón a bezchybnú štruktúru –, no fakticky je nesprávna. ChatGPT neklame; generuje najpravdepodobnejšie pokračovanie na základe naučených vzorcov a toto pokračovanie je niekedy chybné. Keď niečo „nevie“, nie vždy sa zastaví a prizná to; namiesto toho môže vygenerovať odpoveď, ktorá len znie vierohodne.
OpenAI opisuje najčastejšie formy: nesprávne definície, dátumy alebo fakty; vymyslené citáty, štúdie alebo odkazy pripisované neexistujúcim zdrojom; a príliš sebavedomé odpovede na nejednoznačné alebo zložité otázky. Existuje ešte jedna pasca, ktorú mnohí spoznajú až na vlastnej koži: ChatGPT nedokáže spoľahlivo rozpoznať, či text napísala AI, alebo či ho napísal on sám. Jeho odpoveď na otázku „Napísal si túto esej?“ nič nepreukazuje.
Obrana spočíva v štyroch návykoch. Nezávisle si over akúkoľvek kľúčovú informáciu: čísla, dátumy, mená, zdroje. Nechaj odpoveď ukotviť správnymi nástrojmi: na aktuálne udalosti a konkrétne fakty použi webové vyhľadávanie, na výpočty analýzu údajov a na krížové overenie viacerých zdrojov hĺbkový výskum. Požiadaj o zdroje a potom ich otvor: odkaz, ktorý tvrdenie nepotvrdzuje, je rovnako dobrý ako žiadny zdroj. Nakoniec, pri zložitých otázkach zvýš úroveň logického uvažovania: riziko síce úplne neodstrániš, ale dáš modelu čas prejsť si svoju logiku.
Čo model nemôže vedieť
Vedomosti modelu končia dátumom uzávierky. Bez webového vyhľadávania je preň všetko, čo sa stalo po tomto dátume, neviditeľné a nemusí si ani uvedomovať, že mu chýbajú informácie. So zapnutým webovým vyhľadávaním sa objaví ďalšie obmedzenie: niektoré stránky zostávajú nedostupné kvôli technickým problémom, platobným bránam alebo preto, že blokujú botov.
Pokrytie sa líši aj podľa témy. Pri dobre zdokumentovaných témach sú odpovede často vynikajúce; pri špecifických alebo zriedka popisovaných témach môže kvalita prudko klesnúť a tón odpovede ťa na to nijako neupozorní. OpenAI tiež upozorňuje na zaujatosť: prezentovanie jediného pohľadu ako absolútnej pravdy, zjednodušovanie nuansovaných problémov alebo skresľovanie váhy vedeckého konsenzu či spoločenskej debaty. Pri citlivých témach si informácie overuj z iných zdrojov.
Obmedzenia logického uvažovania
Viacstupňové výpočty zostávajú slabým miestom, ak ich model robí „v hlave“ priamo v texte odpovede. Pri akomkoľvek výpočte, ktorý ovplyvňuje rozhodnutie, požiadaj model, aby použil analýzu údajov, ktorá spúšťa kód, a výsledok skontroluj vo vyhradenom nástroji. Veľmi dlhé reťazce úvah nesú rovnaké riziko: vlákno sa stratí a postupne sa vkradnú nezrovnalosti. Ďalším protiintuitívnym nedostatkom je počítanie: sčítavanie písmen, slov alebo položiek môže model zmiasť, hoci by to zvládlo aj dieťa.
Praktické obmedzenia konverzácie
Každá konverzácia má kontextové okno – množstvo informácií, ktoré môže ChatGPT v danom vlákne využiť. Tvoje správy aj jeho odpovede zaberajú miesto a niekoľko veľmi dlhých výmen môže spotrebovať viac než mnoho krátkych: neexistuje teda pevný počet správ na konverzáciu. Veľkosť tohto okna sa zvyšuje s tvojím plánom. Keď je plné, ChatGPT ti to oznámi („Context window full“): vlákno si môžeš prezrieť a potom okamžite začať novú konverzáciu, prípadne so zhrnutím, ktoré poskytne ChatGPT. Toto zhrnutie môže vynechať starú inštrukciu alebo presné znenie: znovu pripoj to podstatné.
Rovnaký efekt platí pre dlhé výstupy: ak necháš model písať dvadsaťstranový dokument po častiach, môžu sa medzi časťami objaviť rozpory. Kompletná revízia nie je voliteľná a označené nezrovnalosti môžeš opraviť v jednej správe.
Vyskúšaj si to sám
Otestuj limity na vlastnej koži. Požiadaj o konkrétny citát francúzskeho autora aj so zdrojom a potom si ho sám vyhľadaj pomocou vyhľadávača. Opýtaj sa na veľmi nedávnu udalosť bez webového vyhľadávania a potom znova so zapnutým vyhľadávaním. Nechaj model vykonať päťstupňový výpočet „v hlave“, potom cez analýzu údajov a nakoniec ho prerátaj ručne. Napokon sa opýtaj, koľkokrát sa písmeno R vyskytuje v slove „extraordinary“, a potom si to spočítaj sám. Tieto cvičenia ti vytvoria intuitívny cit – spoľahlivejší než akékoľvek naučené pravidlo – pre to, kedy potrebuješ overenie.
Čakajú na teba dve úskalia. Prvým je slepá dôvera: čím vyššie sú stávky, tým prísnejšie musia byť tvoje kontroly. Druhým je opačný extrém: obviňovanie nástroja, keď bola tvoja požiadavka vágna. Skôr než uzavrieš, že ide o chybu, preformuluj svoju požiadavku.
Oficiálne zdroje: Does ChatGPT tell the truth? (Centrum pomoci OpenAI: halucinácie, nástroje, dátum uzávierky, zaujatosť, detekcia textu od AI) · ChatGPT Free Tier FAQ (celá konverzácia) · Europe Terms of Use (presnosť odpovedí) · Data analysis with ChatGPT (výpočty vykonávané v Pythone)
Kľúčové poznatky
- Halucinácie pramenia zo spôsobu fungovania ChatGPT: generuje vierohodný text, nie nevyhnutne pravdivý text
- Vždy si overuj kľúčové fakty, citáty, zdroje a čísla; ChatGPT nedokáže spoľahlivo rozpoznať text napísaný AI
- Webové vyhľadávanie, analýza údajov a hĺbkový výskum znižujú riziko, no neodstraňujú ho úplne
- Konverzácie majú obmedzené kontextové okno: keď je plné, začni nové vlákno s tým podstatným
- Poznanie týchto limitov neznižuje užitočnosť ChatGPT – robí ťa efektívnejším