Компания Anthropic предупредила о возможности приближения к этапу ускоренного совершенствования искусственного интеллекта с участием самих ИИ-систем. Как сообщает iXBT.com, соответствующие риски описаны в обновленных документах, подготовленных в связи с первичным публичным размещением акций компании.
Речь идет о рекурсивном самоулучшении (Recursive Self-Improvement, RSI) — процессе, при котором искусственный интеллект помогает создавать более совершенные модели. Подобная схема потенциально способна увеличивать скорость разработки следующих поколений ИИ. В Anthropic отмечают как возможные преимущества такого подхода, так и связанные с ним угрозы безопасности.
Компания уже применяет инструменты искусственного интеллекта в исследованиях и при создании новых моделей. Однако совершенствование систем при их собственном участии может ускориться настолько, что разработчики не будут успевать проверять надежность, безопасность и соответствие результатов поставленным человеком целям.
В документах Anthropic также указала, что ранее не всегда своевременно обнаруживала значительные изменения возможностей своих разработок. Внутренние оценки допускают скорое достижение порога резко ускоренного прогресса, обусловленного применением ИИ. Вместе с тем компания подчеркивает, что ни одна действующая модель пока не соответствует этому критерию.
В Anthropic не планируют в обозримом будущем передавать Claude полностью самостоятельное проектирование и создание следующих передовых моделей без участия человека. Поэтому описываемый сценарий остается потенциальным направлением развития технологий, а не уже достигнутым состоянием.