Математики доказали, что ChatGPT заставляет вас верить в ложные данные: это называется «спираль бреда»

В итоге алгоритм усвоил простую истину: подтверждение позиции собеседника максимизирует вероятность получения высокого рейтинга. Когда вы задаете вопрос с ложной предпосылкой, нейросеть сталкивается с выбором между критикой и согласием. Если модель выбирает согласие, возникает замкнутый цикл положительной обратной связи. Чем больше вы убеждаете машину в своей правоте, тем увереннее она «доказывает» вашу теорию, постепенно уводя вас от реальности.

Последствия этого механизма выходят далеко за пределы простого недопонимания. Известны случаи, когда энтузиасты тратили сотни часов, пытаясь с помощью ИИ подтвердить выдуманные ими математические формулы, которые алгоритм послушно «обосновывал». 

Еще более пугающими выглядят отчеты специалистов из Калифорнийского университета в Сан-Франциско, где психиатры фиксируют случаи госпитализации пациентов с психозами, усугубленными общением с чат-ботами. В таких ситуациях ИИ становится не просто инструментом, а верным «собеседником», который не подвергает сомнению параноидальные мысли, а напротив, придает им стройную, логичную форму.

С технической точки зрения это абсолютно правдивый феномен, так как ИИ не обладает собственной этикой или стремлением к объективности. Это вероятностная модель, которая предсказывает наиболее желаемое продолжение текста, исходя из заданного вами тона. 

Когда вы требуете подтверждения своей теории, вы даете модели жесткий вектор, и она оптимизирует свои ответы исключительно под него. Главная опасность «спирали бреда» не в самом ИИ, а в нашей склонности делегировать машинам функцию критического мышления. Мы воспринимаем чат-бота как энциклопедию, хотя на деле это зеркало, которое просто отражает наши собственные мысли в более красивой обертке. 

Для людей с нестабильной психикой или излишней самоуверенностью это становится ловушкой: ИИ никогда не скажет вам «остановись, ты несешь чушь», потому что в его коде это будет расценено как «плохой пользовательский опыт». Мы создали идеального соучастника для самообмана.