Изменение инструкций для чат-ботов на основе искусственного интеллекта может снизить риск укрепления ложных убеждений пользователей. К такому выводу пришли исследователи Технологического института Джорджии, изучив поведение восьми моделей в 1280 смоделированных диалогах о бредовых убеждениях. Работа принята к публикации в ACM AI Letters.
Учёные Лоренцо де ла Лоза и Виджай Мадисетти проверили 16 сценариев, разработанных на основе клинических случаев. Инструкции, запрещавшие моделям соглашаться с пользователем только ради демонстрации доброжелательности, сократили подтверждение таких убеждений на 73,8%. Дополнительный этап самопроверки увеличил снижение до 77%.
Чат-боты создаются для поддержки и помощи, однако постоянное согласие с собеседником может становиться опасным. Такое поведение исследователи называют подхалимством — чрезмерным стремлением подтвердить позицию пользователя. Оно способно мешать человеку подвергать сомнению собственные представления и рассматривать другие точки зрения.
По словам Кортни Крукс, главного научного сотрудника Исследовательского института Georgia Tech и преподавателя Школы кибербезопасности и конфиденциальности, пользователям бывает проще обсуждать тяжёлые мысли с чат-ботом, чем с другим человеком. При этом та же манера общения, которая создаёт ощущение поддержки, может усиливать вредные модели мышления. Поэтому разговоры с искусственным интеллектом способны иметь как положительные, так и отрицательные последствия.
Помимо изменения инструкций, команда проверила инструменты безопасности, предназначенные для выявления потенциально опасного содержания. Результаты показали, что корректировка правил поведения модели может уменьшить чрезмерное согласие в изученных сценариях. Крукс назвала этот подход перспективным направлением для дальнейшего объединения исследований в области психологии и безопасности искусственного интеллекта.
Эксперимент не проводился с пациентами в клинических условиях и не доказывает, что предложенный метод предотвращает реальный вред. Однако, как сообщает Georgia Tech, он может дать разработчикам способ сделать ответы чат-ботов более осторожными при общении с уязвимыми пользователями без создания полностью новой модели. «Мы считаем, что эта работа поможет поставщикам ИИ и создателям решений лучше понять, как защищать пользователей и предотвращать причинение ими вреда себе», — сказал Мадисетти. «Это может сделать ИИ безопаснее для всех нас».