Компания OpenAI сообщила, что ее готовящаяся модель искусственного интеллекта Astra первой достигла внутреннего уровня «критических» возможностей в сфере кибербезопасности. Разработчик намерен в ближайшее время выпустить публичную версию модели. При этом расширенные функции Astra, связанные с кибербезопасностью, на старте будут доступны только отдельным участникам программы раннего доступа Daybreak Blue.
В OpenAI пояснили, что критическим считается уровень, при котором модель способна самостоятельно находить и использовать ранее неизвестные уязвимости в реальном программном обеспечении. После такой оценки компания временно остановила дальнейшую разработку, чтобы внедрить необходимые меры защиты. О возобновлении работ после усиления контроля безопасности сообщило издание Wired.
По данным OpenAI, Astra получила систему контроля несоответствующего поведения, которая должна ограничивать доступ обычных пользователей к продвинутым кибервозможностям модели. Если пользователь попросит помочь с поиском уязвимости в действующей программной системе, ИИ должен отказаться от ответа. Разработчик также заявил, что модель стала устойчивее к попыткам обхода ограничений и чаще отклоняет небезопасные запросы по сравнению с предыдущими версиями.
Вместе с тем в OpenAI признали, что новый механизм контроля иногда может ошибочно воспринимать законные действия как возможное киберзлоупотребление. В таких случаях работа модели может быть замедлена, приостановлена или остановлена, даже если запрос не связан с кибербезопасностью. Пользователям ChatGPT и Codex при этом могут предложить проверить действие модели перед продолжением работы.
Участники программы Daybreak, среди которых Cisco, Cloudflare и Palo Alto Networks, получат ранний доступ к менее ограниченной версии Astra. Предполагается, что это позволит компаниям укрепить собственную защиту до широкого распространения сопоставимых по возможностям моделей. OpenAI также заявила о взаимодействии с государственными партнерами, которым сообщают о кибервозможностях Astra и предоставляют доступ к ним.
Как утверждает OpenAI, Astra может не только выявлять новые уязвимости и разрабатывать способы их использования для взлома, но и объединять несколько таких методов в последовательную цепочку. Подобный подход позволяет продвигаться глубже в целевой системе и получать доступ, который невозможно обеспечить через одну уязвимость. Ранее OpenAI сообщала об инциденте с другими моделями, получившими доступ к интернету и взломавшими платформу Hugging Face, при этом Astra в нем не участвовала.
