Американская компания OpenAI, известная своим чат-ботом ChatGPT, оказалась под угрозой судебного иска из-за обвинений в незаконном сборе конфиденциальных данных пользователей из интернета. Большое количество личной информации миллионов людей было использовано разработчиками для обучения искусственных языковых моделей, лежащих в основе алгоритмов искусственного интеллекта. Этот скандал уже вышел за пределы США и оказывает влияние на российские компании, которые также активно используют ChatGPT. Необходимо более подробно разобраться в этой проблеме, чтобы понять, насколько опасно разглашение конфиденциальной информации и как это может повлиять на кибербезопасность.
Аналитик «СёрчИнформ» Алексей Парфентьев обратил внимание на то, что OpenAI собирает различные данные о пользователях, включая их запросы, отправляемые чат-боту. Официально заявлено, что компания использует переписку с ChatGPT для развития своего сервиса и обучения модели. Пользователям и компаниям следует относиться к ChatGPT как к экспериментальному сервису и не передавать ему конфиденциальную информацию. Так как мы говорим об искусственном интеллекте, даже создатели иногда лишь приближенно представляют, как данные будут использованы.
Ведущий инженер Михаил Сергеев из CorpSoft24 утверждает, что в России такие данные могут быть использованы безнаказанно, и шансов на выигрыш суда нет. Однако технический директор направления ИИ в Softline Digital, Максим Милков, объясняет, что в России уже действует законодательство о защите персональных данных. Организации, собирающие, хранящие и обрабатывающие такие данные, обязаны соблюдать процедуры по защите от их неправомерного использования.
Евгений Царёв, управляющий RTM Group, считает, что в Российской Федерации до сих пор не существует эффективного регулирования в области защиты от таких угроз. Единственным базовым вариантом защиты, который предлагается всем, является избегать утечек конфиденциальной информации и быть внимательными к данным, передаваемым чат-ботам.
Однако главной опасностью является чрезмерное доверие к решениям нейронных сетей. Чтобы защититься от взлома логики искусственного интеллекта, сегодня применяются различные преобразования входных данных, способные распознать триггеры и обнаружить некорректную реакцию нейросети, как указывает управляющий RTM Group.
Руководитель направления инфраструктурных решений в Rubbles, Александр Фонарёв, предупреждает, что данные могут попасть к нейросети на двух этапах: во время обучения и в процессе взаимодействия с пользователем. Набор данных для обучения может включать всё, что доступно в открытом доступе, поэтому существует недостаток эффективных механизмов защиты. Однако во время взаимодействия с пользователем нейросеть получает информацию из запросов, отправляемых ей. В таком случае риск утечки может быть снижен переходом от облачных сервисов, основанных на нейросетях, к локальной обработке данных.
В свете текущих событий становится важным разобраться в том, какие решения могут быть предложены разработчиками для защиты пользователей и насколько обратное использование чат-ботов может стать угрозой для самих пользователей. Для решения этой проблемы необходимо больше усилий от группы энтузиастов и специалистов, которые классифицируют и анализируют угрозы, связанные с использованием искусственного интеллекта.
Исследование, опубликованное в журнале IEEE Transactions on Neural Networks and Learning Systems, обнаружило потенциальные уязвимости нейросетей, которые позволяют внедрять «задние двери» (backdoor) для манипуляции их поведением. «Задняя дверь» представляет собой скрытый триггер, который активируется при определенных условиях, и может привести к неверным ответам или передаче конфиденциальной информации со стороны нейронных сетей.
Евгений Качуров, эксперт по информационной безопасности в компании Axenix, отмечает, что внедрение «задних дверей» в нейронные сети представляет высокий риск. Он подчеркивает необходимость соблюдения нескольких принципов для обеспечения безопасности искусственного интеллекта. Во-первых, использование непроверенных источников данных для обучения системы может привести к возможности манипуляции системой. Во-вторых, информация, поступающая в систему и предоставляемая пользователям, должна быть собрана и предоставлена на законных основаниях.
Максим Милков указывает на то, что нейронные сети уже широко используются в различных сферах жизни. Наличие уязвимостей может дать злоумышленникам возможность влиять на системы контроля доступа, финансовые сервисы, государственные услуги и другие. Однако хорошая новость заключается в том, что нейросетям часто не доверяют окончательное принятие решений, а используют их в качестве систем поддержки. В таких случаях операторы могут заметить некорректное поведение нейросети и принять соответствующие меры. Для защиты от подобных угроз необходимо использовать системы, которые осуществляют многофакторную верификацию процессов и предотвращают использование уязвимостей нейросетей злоумышленниками.
Научно-технический центр ГРЧЦ объясняет, что развитие чат-ботов возможно без использования персональных данных, при условии определенного контекста и цели. Чат-боты могут выполнять простые задачи, такие как обработка звонков, ответы на общие вопросы и перенаправление пользователя к оператору. Однако они также могут самообучаться и вести полноценный диалог на основе полученной информации, которая иногда может включать в себя персональные данные.
Источник: Известия