Компания Baseten вместе со своим исследовательским подразделением Base Labs объявила о создании нового стандарта безопасности для моделей с открытыми весами. К работе над инфраструктурой оценки и мониторинга таких систем присоединились Hugging Face и Goodfire AI. Об этом сообщает TechCrunch.
Инициатива появилась на фоне дискуссий о рисках открытых моделей. Их защитные механизмы можно удалять с помощью набирающего популярность метода abliteration (устранение ограничений), превращая системы в потенциально опасные инструменты. На платформе Hugging Face, где размещаются модели с открытым исходным кодом, уже опубликовано более 6 тысяч моделей, подвергшихся такой обработке.
Base Labs намерена разрабатывать и публиковать методы обучения и контроля открытых моделей. В Baseten хотят, чтобы будущий стандарт был прозрачным и внедрялся непосредственно в процессы подготовки и развёртывания систем, а не добавлялся после их создания. Компания рассчитывает привлечь к разработке представителей широкого сообщества специалистов.
«Мы считаем открытость преимуществом для безопасности ИИ», — заявила Baseten в социальной сети X. По словам компании, открытая архитектура позволяет лучше видеть поведение моделей и эффективнее превращать исследования в области безопасности в практические и прозрачные механизмы контроля.
Технические детали сотрудничества пока не раскрыты. Goodfire сформулировала цель партнёрства так: «Безопасность должна быть встроена в открытые модели и обеспечиваться теми, кто их обслуживает». Эта компания специализируется на интерпретируемости моделей — объяснении того, как искусственный интеллект принимает решения, поэтому её технологии могут использоваться для интеграции защитных механизмов.
Baseten предоставляет услуги для выполнения моделей искусственного интеллекта. В июне компания привлекла 1,5 миллиарда долларов в рамках раунда Series F, после чего её оценка достигла 13 миллиардов долларов. Goodfire AI ранее получила 150 миллионов долларов в раунде Series B под руководством B Capital на развитие платформы интерпретируемости моделей.