Почему нейросети галлюцинируют?
Одной из особенностей современных нейросетей является галлюцинация. Сегодня разбираемся, что такое галлюцинации ИИ и почему они возникают.
Нейронные сети уже пришли в нашу жизнь, но все нюансы работы с ними мы узнаем постепенно. Чем чаще вы используете модели для профессиональных вопросов, тем чаще замечаете, что они не всесильны и “придумывают” факты. И если для создания креативных картинок, звуков и видео это необходимо, то для текстовых нейросетей и чатботов подобное крайне нежелательно.
Галлюцинации ИИ – уверенные реакции, которые не основаны на данных обучения, или вымышленные ответы, не имеющие отношения к действительности. Острее всего это заметно в случае ответов текстовых нейросетей на вопросы, требующие четкого определенного ответа, основанного на реальных фактах. Если вы активно пользуетесь чатботами, то наверняка встречались с этим сами.
Из возможных причин возникновения галлюцинаций выделяются две: сам принцип работы языковых моделей и переобучение. Языковые модели умеют «читать» последовательность слов и предсказывать на её основе следующее. Затем процесс повторяется, нейросеть предсказывает второе слово и так происходит до тех пор, пока не получится законченный текст. Во время этого стоит задача не дать фактически верный ответ, а ответить так, как бы отвечал человек. Внутри моделей заложены не глубокие знания о мире, а поверхностное, основанное на статистике (анализе большого количества данных) понимание.
Говоря о переобучении, модель может не только найти связи там, где их нет, но и в целом обучатся на недостоверных данных. Для обучения собираются тексты со всего интернета и далеко не все их них содержат в себе реальные факты. Такими недостоверными обучающими данными могут быть ответы на форумах, псевдонаучные тексты и многое другое. Ситуация может быть и обратная – данных было попросту недостаточно.
Самые важные новости из мира ИИ у нас в Телеграм-канале
