Компанія OpenAI опублікувала дослідження, в якому пояснила, чому ChatGPT та інші нейромережі так часто “галюцинують” — впевнено видають неправдиву інформацію. Виявилося, це не збій, а прямий наслідок того, як їх навчають і оцінюють. Але є способи з часом це виправити.
Чому ШІ видає неправдиву інформацію?
Причина в тому, що сучасні системи оцінювання якості заохочують ШІ вгадувати відповідь, а не зізнаватися в незнанні. Експерти порівнюють таку поведінку зі шкільним тестом: якщо за відповідь “не знаю” ви гарантовано отримуєте нуль балів, є шанс написати хоч щось і потрапити в точку. Саме за таким принципом і функціонують чат-боти, пише OpenAI.
Більшість бенчмарків, які вимірюють здібності та інтелект нейромереж, оцінюють лише точність — відсоток правильних відповідей. У результаті розробники змушені налаштовувати моделі так, щоб вони завжди, у будь-якому разі давали якусь відповідь, навіть якщо не впевнені в ній. Це зручно для віртуальних тестів, але призводить до того, що ШІ неминуче “галюцинує” — вигадує факти і впевнено їх презентує.
Які зміни пропонує OpenAI?
Як приклад OpenAI наводить порівняння двох версій ChatGPT. Стара модель o4-mini за метрикою точності (відсоток вірних відомостей) має трохи кращий вигляд, ніж новіша gpt-5-thinking-mini (24% проти 22%). Але як це можливо, якщо частота помилок першої — 75%, а в нової — лише 26%? Уся справа в підході. Модель o4-mini намагається розв’язати майже всі запитання і більше вгадує, а відмовляється відповідати лише в 1% випадків. Таким чином вона “наосліп” набирає більше правильних відповідей, але попутно генерує і багато брехні.
Покращена модель gpt-5-thinking-mini працює розумніше. Вона чесно говорить, що не має точної інформації в 52% випадків, відповідаючи тільки тоді, коли більш-менш впевнена. У результаті ймовірність того, що вона вас обдурить, на практиці втричі менша, тобто актуальна версія набагато надійніша.
OpenAI пропонує змінити сам підхід до оцінки ШІ. На їхню думку, за впевнену брехню потрібно штрафувати сильніше, ніж за чесне “не знаю”, а за адекватну оцінку своєї невпевненості — навіть нараховувати часткові бали. Це змусить розробників створювати більш чесні та надійні ШІ-моделі, які не вводитимуть користувачів в оману.
Раніше повідомлялося, що чат-боти на кшталт ChatGPT змінюють людей. Недавні дослідження показали, що з людьми, які “підсіли” на чат-боти на кшталт ChatGPT, відбувається щось незвичайне. Фахівці в галузі психічного здоров’я називають це “ШІ психозом”.
