Национальный институт стандартов и технологий США (NIST) представил обновлённую версию инструмента Dioptra для оценки рисков, связанных с моделями искусственного интеллекта. Этот бесплатный онлайн-инструмент позволяет компаниям, создающим модели ИИ, и их пользователям анализировать и отслеживать риски, связанные с искусственным интеллектом.
Dioptra помогает оценивать влияние вредоносных атак на работу систем ИИ, особенно тех, которые направлены на «отравление» данных для обучения моделей. Он может использоваться для тестирования и исследования моделей, а также для создания общей платформы моделирования угроз в среде «красной команды».
NIST подчёркивает, что Dioptra может быть полезен государственным учреждениям и малому и среднему бизнесу для оценки заявлений разработчиков ИИ о производительности их систем. Инструмент выпущен вместе с документами, описывающими способы снижения некоторых угроз, связанных с искусственным интеллектом.
Выпуск Dioptra является частью инициативы, запущенной указом президента Байдена об искусственном интеллекте. Этот указ поручает NIST помогать с тестированием систем искусственного интеллекта. Он также устанавливает стандарты безопасности для ИИ и требует от компаний, создающих модели, уведомлять федеральное правительство и делиться результатами тестов безопасности перед публичным развёртыванием.
Однако у Dioptra есть ограничение: он работает только с моделями, которые можно загрузить и использовать локально. Модели, доступ к которым ограничен через API, такие как GPT-4 от OpenAI, пока не поддерживаются этим инструментом.
