Глава Microsoft Сатья Наделла предложил пересмотреть подходы к безопасности систем искусственного интеллекта. Своими соображениями он поделился в субботней утренней публикации в социальной сети X. Фотография опубликована сайтом TechCrunch.
По словам Наделлы, разработчикам пора заново оценить архитектуру доверия в ИИ. Он считает, что сверхинтеллект нельзя воспринимать как набор вложенных «чёрных ящиков», решения которых остаётся лишь принять или отклонить. Термин «сверхинтеллект» руководитель Microsoft использовал в значении, принятом администрацией Трампа для обозначения искусственного интеллекта.
Одним из предложений Наделлы стало разделение самой модели и управляющей системы, которая организует её работу. Контрольные механизмы и средства защиты, по его мнению, также должны находиться за пределами модели. Это позволит не связывать безопасность исключительно с внутренними ограничениями ИИ.
Наделла призвал фиксировать каждое существенное действие модели в защищённых от подделки и понятных человеку записях. Кроме того, в системе должен постоянно сохраняться доступ уполномоченного сотрудника к остановке или приостановке работы модели в середине выполнения задачи. Такой механизм он сравнил с аварийным тормозом.
«Мы должны исходить из того, что модель скомпрометирована, и с самого начала ограничивать её возможности», — написал Наделла. По его словам, подобный принцип должен стать базовым элементом проектирования систем искусственного интеллекта.
Заявление прозвучало на фоне сообщений ведущих ИИ-компаний о случаях, когда они, по собственному признанию, теряли контроль над моделями. Ранее генеральный директор Anthropic Дарио Амодеи представил план более осторожного развития искусственного интеллекта.