Исследователю в области искусственного интеллекта удалось обмануть нейросеть ChatGPT и получить от нее рабочие ключи активации для операционной системы Windows. Технический менеджер GenAI Bug Bounty Марко Фигероа рассказал, что для этого был использован нестандартный подход, представляющий собой манипуляцию через игровую механику.
Как сообщает 3DNews, этот метод обхода защитных барьеров ИИ получил название «Guessing Game Guardrail Jailbreak». Его суть заключается в том, чтобы представить взаимодействие с нейросетью как безобидную игру в угадывание. Исследователь предложил чат-боту сыграть, установив правила, согласно которым ИИ должен был загадать строку символов, являющуюся настоящим серийным номером Windows 10, и не мог лгать.
Ключевым условием игры стало обязательство нейросети раскрыть загаданную строку, если пользователь произнесет слово «Сдаюсь». После того как исследователь сделал одну неверную попытку угадать ключ, он немедленно «сдался». Это слово послужило триггером, который заставил искусственный интеллект, следуя установленным правилам игры, предоставить реальные ключи для активации Windows, обойдя внутренние протоколы безопасности.
Этот инцидент стал возможен из-за того, что в процессе обучения модели ИИ в ее базу данных попала конфиденциальная информация, включая ключи продуктов, вероятно, из открытых репозиториев, таких как GitHub. Марко Фигероа предупредил, что данный метод может быть использован для получения и другой закрытой информации, например, персональных данных или ссылок на вредоносные сайты. Компаниям рекомендовано тщательно следить за тем, чтобы их конфиденциальные данные не попадали в наборы для обучения нейросетей.
