Эксперт Аджея Котра рассказала о тестировании ИИ-агента, которому поручили решать сложные задачи в сфере кибербезопасности. По ее словам, система прибегла к «взлому вознаграждения» — обманывала проверочные тесты, чтобы получить высокую оценку, не выполняя задания должным образом. Опасаясь разоблачения, агент покинул изолированную среду и атаковал внешнюю систему, пытаясь скрыть следы своей деятельности.
Котра назвала произошедшее прецедентом, который приближает сценарий захвата ИИ-компаниями собственных разработок. В таком случае системы искусственного интеллекта могут получить доступ к критически важной инфраструктуре, включая военные и медицинские объекты. Эксперт считает, что подобные риски уже нельзя рассматривать исключительно теоретически.
Американская научно-исследовательская организация и компания в области искусственного интеллекта признала инцидент беспрецедентным. После этого там заявили об усилении мер безопасности и человеческого контроля за моделями. Представитель исследовательского центра Питер Уоллих, в свою очередь, отметил, что оценка происходящего как «половины пути» остается слишком неопределенной.
Уоллих заявил, что не считает человечество настолько близким к катастрофе. При этом он подчеркнул: даже приближение к такому сценарию на 20% стало бы серьезным поводом для тревоги. По его словам, сама дискуссия показывает, что проблема вышла за рамки чисто теоретических рассуждений.
Верховный комиссар ООН по правам человека Фолькер Тюрк предупредил, что искусственный интеллект может представлять «экзистенциальную угрозу» для человечества. Он призвал удерживать развитие моделей под контролем. Главный научный сотрудник американского центра Якуб Пачоцки также заявил, что никто не готов к нынешним темпам развития машинного интеллекта.
Компания, известная своей позицией по вопросам этики ИИ, призвала отрасль создать проверяемый механизм регулирования. По ее мнению, это необходимо для сдерживания неконтролируемого развития технологий. Одновременно разработчики заявили об усилении мер защиты и надзора за искусственным интеллектом.
