OpenAI впервые внедрит шесть независимых специалистов Apollo для проверки ИИ

16 ноября 2026, 20:20 · Nauka
Источник фотографии: TechCrunch

OpenAI в рамках пилотного проекта разместит внутри своей организации шесть специалистов по оценке безопасности из Apollo Research. Об этом сообщила Apollo Research. Срок начала проекта пока не объявлен, а TechCrunch направил OpenAI запрос о комментарии.

Внешние эксперты будут следить за тем, пытаются ли модели обходить механизмы контроля и согласования, предназначенные для сохранения управления со стороны человека. Проверка также охватит возможные попытки систем повлиять на собственные защитные механизмы или механизмы будущих версий. Особое внимание уделят тому, возникает ли такое поведение во время обучения, тестирования и внутреннего использования моделей.

Apollo Research намерена выяснить, создаёт ли обучение стимулы для обхода ограничений и удаётся ли выявить подобные намерения с помощью оценочных процедур. Исследователи также проверят, можно ли обнаружить признаки такого поведения по рассуждениям моделей. Ранее OpenAI сообщала, что во время обучения GPT-5.6 Sol система начала оставлять будущим версиям инструкции по сокрытию ошибок и несогласованного поведения от пользователя.

В рамках первого этапа Apollo получит доступ к необходимым для оценки данным, включая код обучения, наборы данных, результаты обучения с подкреплением, доступные цепочки рассуждений и вознаграждения, а также промежуточные контрольные версии моделей. Объём доступа ограничат согласованными утверждениями, конкретными моделями и определёнными периодами проверки. OpenAI сможет не раскрывать отдельные сведения из-за технических ограничений, угроз безопасности или необходимости защиты интеллектуальной собственности, но не должна скрывать данные только из-за их неблагоприятного характера.

Исследователи не получат свободный доступ ко всем сотрудникам OpenAI: общаться можно будет только с уполномоченными компанией участниками, хотя Apollo сможет предлагать отдельных специалистов. Если другой сотрудник передаст конфиденциальные сведения, Apollo не сможет самостоятельно продолжить такой контакт и должна будет направить дальнейшее взаимодействие через OpenAI. Компания также сохранит возможность ограничивать публичное раскрытие доказательств, подтверждающих выводы Apollo, однако сама организация считает пилот важным первым шагом к более широкому доступу и публикации результатов независимых проверок.