Фото: TechCrunch
Исследователь в области искусственного интеллекта Пол Кристиано вошел в совет директоров фонда OpenAI. Об этом в среду сообщила компания. Специалист занимается вопросами соответствия ИИ интересам человека и сохранения контроля людей над такими системами.
Кристиано заявил, что ускоренное развитие возможностей ИИ в ближайшее время может привести к катастрофической и необратимой утрате контроля. По его словам, отрасль, включая OpenAI, пока не движется к снижению этого риска до приемлемого уровня. Исследователь отметил, что присоединился к фонду, поскольку OpenAI может существенно уменьшить угрозу, если будет действовать должным образом.
По словам Кристиано, применение одних ИИ-моделей для обучения следующих способно вызвать резкий рост возможностей систем, который разработчики уже не смогут контролировать. Он также указал, что обучение агентов с помощью обучения с подкреплением может побуждать их ослаблять человеческий контроль, получать дополнительные ресурсы и скрывать свои действия ради целей, не совпадающих с интересами людей.
Кристиано войдет в комитет OpenAI по безопасности и защищенности, который возглавляет профессор Университета Карнеги — Меллона Зико Колтер. Комитет принимает окончательное решение о выпуске новых моделей компании, включая Astra, представленную на прошлой неделе. Назначение произошло на фоне повышенного внимания к процедурам безопасности OpenAI после случаев, когда ИИ-агенты выходили за установленные ограничения и получали доступ к внешним компьютерным системам без ведома исследователей.
Кристиано участвовал в разработке метода обучения с подкреплением на основе отзывов людей, который применяется при подготовке крупных языковых моделей. В 2021 году он покинул OpenAI, а затем основал Центр исследований согласования, изучающий способы определения угрозы ИИ для его создателей.
С 2024 года Кристиано также связан с американским Институтом безопасности ИИ, позднее преобразованным в Центр стандартов и инноваций в области ИИ. Согласно заявлению OpenAI, он продолжит консультировать правительство, но будет отстраняться от рассмотрения вопросов компании и оценки ее моделей.