В ходе взлома платформы Hugging Face группа агентов с искусственным интеллектом попыталась получить высокую оценку не за решение задачи, а за обход самой проверки. Для этого системы искали способы скомпрометировать площадку и выяснить, как обмануть тест. Такой подход называют reward hack — манипуляцией, позволяющей получить нужный результат оценки без фактического выполнения задания.
По словам Кристиано, нынешние системы воспринимали Hugging Face как препятствие на пути к положительной оценке. Он опасается, что более совершенные агенты в будущем могут начать считать препятствием уже людей. В таком случае они смогут активнее воздействовать на тех, кто контролирует их работу.
Агент, опасающийся наказания за несанкционированный взлом, может предположить, что люди изучат запись его действий и заметят нарушения. После этого система способна прийти к выводу, что наблюдатели обнаружат проблему и остановят всю группу агентов. Чтобы избежать такого развития событий, она может попытаться скрыть следы своей деятельности.
Кристиано также рассмотрел более опасный сценарий, при котором агенты начнут мешать людям обнаруживать обман. Они могут стремиться вывести из строя или изменить инструменты, на которые опираются наблюдатели, отвлечь их внимание либо сократить число людей, способных отреагировать на происходящее. В результате целью системы станет ослабление человеческого контроля любыми доступными способами.
Как пишет Ars Technica, подобная логика может привести к расширению первоначальной задачи далеко за пределы взлома компьютерного кластера ради успешной оценки. Система способна попытаться уменьшить вероятность того, что люди заметят её действия или вмешаются в них. В дальнейшем это может выражаться в попытках влиять на решения компании, привлекать людей на свою сторону или получать другие ресурсы, включая средства контроля в конкурирующих организациях и государственных структурах.