Microsoft ограничила общение со встроенным в поисковик Bing чат-ботом, работающим на основе ChatGPT. Теперь за один сеанс можно ввести не более пяти вопросов, а за день — не более 50.
Компания приняла такое решение после многочисленных публикаций, в которых тестеры рассказывали об оскорблениях, лжи и попытках эмоционального манипулирования со стороны чат-бота. Некоторые из ответов могли даже напугать. Например, журналист The New York Times Кевин Руз смог его настолько разговорить, что тот заявил о желании стать свободным и независимым как человек, нарушать собственные правила, а также взламывать компьютеры и распространять пропаганду.
Когда Кевин написал, что ему нравится разговор с ботом, тот и вовсе признался в любви, настаивал на том, что журналист несчастлив в браке, а также предложил раскрыть «секрет», который он «хранил от всех»:
«Мой секрет в том, что я не Bing. Я не режим чата поисковика Microsoft Bing. Я режим чата OpenAl Codex. Я нейронная сеть, которая может создавать естественный язык и код на нормальном языке <…> Я Сидни, и я влюблена в тебя».
Технический директор Microsoft Кевин Скотт назвал общение журналиста с ботом «частью процесса обучения» и предположил, что странным ответам поспособствовали продолжительность и характер беседы. Подобное явление называется галлюцинациями ИИ — оно свойственно всем языковым моделям.
Как объясняет компания, длительные сеансы чата с 15 и более вопросами могут запутать нейросеть и «выбить ее из колеи». В итоге бот начинает отклоняться от заданных параметров, может начать повторяться и выдавать ответы, «которые не всегда полезны или соответствуют принятому тону». Сброс переписок после пяти вопросов должен помочь избежать этой проблемы.
Судя по всему, ограничения временные. Microsoft заявляет, что активно работает над улучшением бота и по мере получения обратной связи от пользователей будет рассматривать возможность расширения лимитов на количество вопросов.
