Ограничения и халюцинации на ChatGPT
На тази страница
Какво не може да прави ChatGPT и защо това е важно
Умението да използвате ChatGPT започва с разбирането къде той се проваля. Инструментът е мощен, но има недостатъци, които опитът сам по себе си не може да поправи – трябва да работите около тях. Този урок е може би най-критичният в курса, защото разделя потребителите, които проверяват информацията, от онези, които един ден уверено ще разпространяват дезинформация. OpenAI заявява това ясно в своите Условия за ползване: един отговор може да бъде неточен, той не трябва да бъде единственият ви източник на истина или да замества професионален съвет, и Вие носите отговорност за оценката на неговата точност.
Халюцинации: Когато моделът измисля неща
Халюцинацията е отговор, който изглежда напълно правилен – с уверена формулировка и безупречна структура, – но е фактологически грешен. ChatGPT не лъже; той генерира най-вероятното продължение въз основа на научените модели и това продължение понякога е неправилно. Когато не „знае“ нещо, той не винаги спира, за да го каже; вместо това може да генерира отговор, който звучи правдоподобно.
OpenAI описва най-честите форми: неверни дефиниции, дати или факти; измислени цитати, проучвания или препратки, приписани на несъществуващи източници; и свръхуверени отговори на двусмислени или сложни въпроси. Има и още един капан, който мнозина откриват по трудния начин: ChatGPT не може надеждно да определи дали даден текст е написан от изкуствен интелект, или дали самият той е написал текста. Неговият отговор на въпроса „Ти ли написа това есе?“ не доказва нищо.
Защитата се свежда до четири навика. Независимо проверявайте всяка критична информация: числа, дати, имена, източници. Позволете на правилните инструменти да обосноват отговора: използвайте уеб търсене за текущи събития и конкретни факти, анализ на данни за изчисления и задълбочено проучване за кръстосана проверка на множество източници. Искайте източници, след което ги отваряйте: връзка, която не подкрепя твърдението, е все едно да нямате източник. Накрая, повишете нивото на разсъждение при деликатни въпроси: няма да елиминирате риска, но давате време на модела да премине през своята логика.
Какво моделът не може да знае
Знанието на модела спира до определена крайна дата. Без уеб търсене всичко, случило се след тази дата, е невидимо за него и той може дори да не осъзнава, че му липсва информация. С включено уеб търсене се появява друго ограничение: някои сайтове остават недостъпни поради технически проблеми, платени стени (paywalls) или защото блокират ботове.
Обхватът също варира според темата. При добре документирани теми отговорите често са отлични; при нишови или рядко обсъждани теми качеството може рязко да спадне и нищо в тона няма да Ви предупреди за това. OpenAI също така сигнализира за пристрастия: представяне на единствената перспектива като абсолютна истина, опростяване на нюансирани въпроси или погрешно представяне на тежестта на научния консенсус или обществения дебат. По чувствителни теми правете кръстосана проверка с други източници.
Ограничения на разсъждението
Многоетапните изчисления остават слабо място, когато се извършват „наум“ в рамките на текста на отговора. За всяко изчисление, което влияе на решение, поискайте от модела да използва анализ на данни, който изпълнява код, и го проверете със специализиран инструмент. Много дългите вериги от разсъждения носят същия риск: нишката се губи и несъответствията се прокрадват по пътя. Броенето е друг контраинтуитивен недостатък: броенето на букви, думи или предмети може да обърка модела, въпреки че едно дете би могло да го направи.
Практически ограничения на разговора
Всеки разговор има контекстен прозорец – количеството информация, което ChatGPT може да използва в тази нишка. Вашите съобщения и неговите отговори заемат място и няколко много дълги размени могат да изразходват повече от много кратки: следователно няма фиксиран брой съобщения на разговор. Размерът на този прозорец се увеличава с Вашия план. Когато се запълни, ChatGPT Ви уведомява („Context window full“): все още можете да прегледате нишката, след което незабавно да започнете нов разговор, по желание с обобщение, предоставено от ChatGPT. Това обобщение може да пропусне стара инструкция или точна формулировка: прикрепете отново това, което е важно.
Същият ефект важи и за дългите изходи: ако накарате модела да напише двадесетстраничен документ част по част, между частите могат да се появят противоречия. Пълният преглед не е по избор, а маркираните несъответствия могат да бъдат поправени с едно съобщение.
Опитайте сами
Тествайте границите сами. Поискайте конкретен цитат от френски автор с неговия източник, след което го потърсете сами чрез търсачка. Попитайте за много скорошно събитие без уеб търсене, след което попитайте отново с включено търсене. накарайте модела да направи петстъпково изчисление „наум“, след това чрез анализ на данни и го пресметнете отново на ръка. Накрая, попитайте колко пъти се появява буквата R в думата „extraordinary“, след което пребройте сами. Тези упражнения изграждат интуитивно усещане – по-надеждно от всяко запомнено правило – кога трябва да проверявате.
Две капана Ви очакват. Първо, сляпото доверие: колкото по-високи са залозите, толкова по-строги трябва да бъдат контролите Ви. Второ, обратната крайност: обвиняването на инструмента, когато Вашата подкана е била неясна. Преди да заключите, че има грешка, преформулирайте искането си.
Официални източници: Does ChatGPT tell the truth? (Център за помощ на OpenAI: халюцинации, инструменти, крайна дата, пристрастия, откриване на AI текст) · ChatGPT Free Tier FAQ (пълен разговор) · Europe Terms of Use (точност на отговора) · Data analysis with ChatGPT (изчисления, изпълнени в Python)
Ключови изводи
- Халюцинациите произтичат от начина, по който работи ChatGPT: той генерира правдоподобен текст, а не непременно верен текст
- Винаги проверявайте критични факти, цитати, източници и числа; ChatGPT не може надеждно да открива текст, написан от изкуствен интелект
- Уеб търсенето, анализът на данни и задълбоченото проучване намаляват риска, но не го елиминират
- Разговорите имат ограничен контекстен прозорец: когато се запълни, започнете нова нишка със същественото
- Познаването на тези ограничения не намалява полезността на ChatGPT – то Ви прави по-ефективни