Новая модель OpenAI под названием Astra будет использовать метод рассуждений recurrent depth («рекуррентная глубина»), также известный как opaque recurrence («непрозрачная рекурсия»). Как пишет The Information, этот подход позволяет системе отходить от привычной последовательной логики, характерной для большинства моделей рассуждений. Эксперты по безопасности искусственного интеллекта опасаются, что контролировать ход мыслей такой модели станет сложнее.
При обычной работе модели цепочка рассуждений показывает последовательность шагов, которые система выполняет при решении задачи. Хотя такая запись не всегда полностью отражает внутренние процессы, она помогает выявлять ошибки, нежелательное поведение и несоответствие заданным правилам. В случае с непрозрачной рекурсией модель несколько раз обрабатывает один и тот же запрос в цикле, оставляя меньше понятных следов.
Глава Redwood Бак Шлегерис заявил, что его крайне беспокоит использование Astra непрозрачной рекурсии. По его словам, дальнейшее развитие этого метода может резко сократить возможности наблюдения за цепочкой рассуждений. Исследователь в области безопасности ИИ Зви Мовшовиц также предупредил, что конкуренция между лабораториями может потребовать законодательных ограничений.
При этом применение технологии в Astra, как ожидается, будет ограниченным. Цепочка рассуждений модели должна оставаться читаемой, а OpenAI отвергла предположения о переходе к «нейронному языку», недоступному для контроля человека. Главный научный сотрудник компании Якуб Пахоцкий подчеркнул, что сохранение и использование мониторинга цепочек рассуждений остается одной из ключевых целей исследований OpenAI.
Все модели искусственного интеллекта в той или иной степени используют непрозрачные внутренние процессы, а журналы цепочек рассуждений не считаются точным отображением работы системы. Однако расширение применения непрозрачной рекурсии может дополнительно осложнить контроль за моделями. The Information также сообщил, что эту технологию уже обсуждают Anthropic и Google DeepMind.
Главный научный сотрудник Redwood Research Райан Гринблатт считает, что непрозрачные рассуждения могут масштабироваться быстрее обычных цепочек логики. По его оценке, в таком случае значительная часть работы модели может перейти в скрытое внутреннее пространство. Он выразил надежду, что OpenAI не будет развивать этот подход дальше.