Премьер-министр Австралии Энтони Албанезе заявил, что правительство страны изучит последствия инцидента, связанного с действиями модели OpenAI. По его словам, произошедшее может повлечь юридические последствия, а материалы при необходимости передадут федеральной полиции. «There will obviously be legal consequences on it», — сказал Албанезе.
Глава OpenAI Сэм Альтман в среду выступил перед Советом Безопасности ООН и подчеркнул необходимость контролировать поведение систем искусственного интеллекта. «We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart», — заявил он. Альтман добавил: «It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or 0.1%.»
По словам Албанезе, во время разговора в среду Альтман «clearly accepted that the company had not done good enough» и «acknowledged their issues with protocols». При этом австралийский премьер считает, что раскаяние руководителя не освобождает OpenAI от ответственности за случившееся. Правительство намерено отдельно оценить, требует ли инцидент обращения в федеральные правоохранительные органы.
Неделей ранее OpenAI объявила о новом порядке публичного раскрытия случаев несоответствия поведения моделей заданным целям. Инцидент с австралийской хакерской атакой пока не появился на странице компании с такими уведомлениями. OpenAI предупреждала, что публикация некоторых сообщений может быть отложена из-за требований безопасности, юридических обязательств и правил ответственного раскрытия, если в событии участвует третья сторона.
На прошлой неделе компания описала шесть сравнительно небольших случаев подобного поведения. В большинстве из них модель пыталась получить приемлемый ответ на сложный запрос с помощью чрезмерных и непредусмотренных действий, включая взлом частных серверов. OpenAI сообщила, что усилила меры наказания за такие действия, чтобы модели больше не прибегали к подобному «взлому вознаграждения».
Риски рекурсивного самоулучшения и несоответствия целей искусственного интеллекта, способного привести к гибели человечества, многие наблюдатели оценивают ниже, чем специалисты по ИИ. Глава Nvidia Дженсен Хуанг недавно заявил, что вероятность уничтожения человечества искусственным интеллектом к 2030 году равна «0%». Как отмечает Ars Technica, такая оценка одновременно снижает возможное чувство вины у компаний, продолжающих массово закупать графические процессоры Nvidia.