
Исследование выявило серьёзные проблемы с защитой данных в сфере искусственного интеллекта. По данным Ars Technica, злоумышленники получили доступ как минимум к трём поставщикам ИИ-сервисов и использовали его для кражи передаваемых им запросов. Кроме того, несколько посредников на рынке вычислений записывали запросы и передавали их пользователям, применявшим полученные учётные данные.
Исследователи также обнаружили случаи, когда поставщики ИИ не соблюдали настройки конфиденциальности, указанные в параметрах запросов. Речь шла, в частности, о режимах Zero Data Retention (ZDR, отсутствие хранения данных) и «не собирать данные». Для проверки специалисты отправили поставщикам почти два миллиона запросов с уникальными секретами, по которым можно было отследить дальнейшее перемещение информации.
«Мы отправили поставщикам ИИ почти два миллиона запросов, содержащих уникальные отслеживаемые секреты, а затем наблюдали, где эти секреты появлялись. Полученные результаты выявили нарушения безопасности, кражу запросов и масштабные сбои в защите данных клиентов», — написал в четверг главный специалист по исследованиям компании Dragos Мур.
Хотя при передаче запросы шифруются, на каждом этапе внутри разветвлённой сети посредников они расшифровываются. Сначала запрос поступает ИИ-маршрутизатору, который читает его содержимое и выбирает подходящего поставщика вычислений, после чего данные могут направляться сразу нескольким моделям на разных площадках. Запросы также способны переходить от одного маршрутизатора к другому, например от Vercel к OpenRouter, а каждый участник цепочки может сохранять их на срок, установленный собственной политикой, либо без ограничения.
Наиболее тревожным результатом стало обнаружение взлома трёх отдельных провайдеров размещения. Получившие доступ к одному из них злоумышленники повторно использовали несколько сотен ключей AWS, причём все запросы с такими ключами были похищены в течение нескольких коротких периодов в конце октября. Часть запросов была перехвачена ещё до запуска модели, включая отклонённые сервисом обращения, что указывает на копирование данных на входе провайдера, а не на более позднем этапе обработки.
В двух других случаях среди украденных запросов были обращения с отметкой ZDR, однако эта настройка не помогла, поскольку атакующие уже находились внутри системы. Затем связанные со взломом лица проверяли каждый ключ, иногда в течение нескольких часов после его появления, и искали дополнительные учётные данные в хранилищах S3, менеджерах секретов и хранилищах параметров. Они также пытались включать размещённые модели в AWS Bedrock и добавляли собственных пользователей IAM для сохранения доступа, а всего приманочные ключи применялись в десятках тысяч вызовов API AWS.