Источник фото: TechCrunch
Компания Anthropic (признана в РФ экстремистской и запрещена) представила проект открытой системы FlashProve, которая позволит устанавливать, какая именно модель искусственного интеллекта сгенерировала конкретный ответ. Об этом говорится в публикации TechCrunch со ссылкой на блог компании. Разработка основана на концепции «доказуемого вывода» — криптографического подтверждения, по сути математической гарантии того, что текст или иной результат создан определенной моделью. Пользователь благодаря такой системе сможет убедиться, что получил ответ именно от той модели, которую выбрал.
Принцип работы FlashProve напоминает криптографические подписи в электронной почте, которые помогают адресату удостовериться в подлинности отправителя. Система устойчива к попыткам выдать одну модель за другую, причем даже в тех случаях, когда маскировкой занимается сама лаборатория, разработавшая и обслуживающая модель. В частности, как отмечают исследователи, механизм способен помешать компании тайно подменить модель на более дешевую ради экономии или на более дорогую для завышения показателей производительности.
Кроме того, FlashProve может применяться для проверки заявлений третьих сторон о том, что та или иная задача выполнена продвинутой моделью. Исследователи приводят пример: разработчик может утверждать, что его программная библиотека проверена на уязвимости передовой моделью кибербезопасности, а компания — что ее бизнес-план одобрен подходящей моделью. В таких случаях возникает вопрос, каким образом пользователь может подтвердить подобные заявления.
Для работы системы лабораториям, выпускающим модели ИИ, потребуется публиковать «отпечаток» каждой из них, который впоследствии можно сопоставить с конкретными ответами и проверить криптографически. Принципиально важно, что отпечатки не раскрывают веса модели — внутренние числовые параметры, определяющие ее поведение и остающиеся закрытыми у таких разработчиков, как Anthropic (признана в РФ экстремистской и запрещена) и OpenAI. Благодаря этому лаборатории смогут публиковать отпечатки, не отдавая свой самый ценный актив, а система будет применима и к коммерческим моделям. Кроме того, она спроектирована легковесной, поэтому проверку можно проводить на локальном устройстве.
Одновременно с анонсом исследователи опубликовали подробную техническую спецификацию и рабочий код отдельных элементов системы, который выложен в открытом доступе на GitHub под открытой лицензией. Работа над системой продолжается, и планов внедрять ее в Anthropic (признана в РФ экстремистской и запрещена) или какой-либо другой лаборатории пока нет. «Этот исследовательский пост призван поделиться промежуточным прогрессом, а не завершенной исследовательской программой», — поясняют авторы. По их словам, материал публикуется с тем расчетом, чтобы другие изучили сделанное, взяли его и улучшили.