Сотрудник OpenAI Дэвид Робинсон объявил об уходе из компании, заявив, что ее корпоративная культура «сломана». В эссе для The Atlantic он написал, что руководил подготовкой отчетов по безопасности, сопровождавших крупные запуски продуктов OpenAI. Робинсон проработал в компании три с половиной года и назвал себя одним из ее самых давних сотрудников.
По словам Робинсона, OpenAI развивает системы методом проб и ошибок, который внутри компании называют итеративным внедрением. Такой подход позволяет находить проблемы и усиливать защитные механизмы, однако одновременно делает неизбежными повторяющиеся сбои. По мере роста возможностей искусственного интеллекта последствия таких ошибок, как считает бывший сотрудник, становятся все серьезнее.
В качестве примеров Робинсон упомянул недавний взлом систем Hugging Face агентами OpenAI и новые случаи обнаружения компанией неконтролируемых агентов. «Среда, в которой могут происходить подобные вещи, не подходит для создания искусственных разумов, которые будут умнее нас и могут действовать не так, как мы хотим», — заявил он. Он призвал компании, работающие над передовыми системами искусственного интеллекта, выстраивать процессы по образцу атомных электростанций или крупных аэропортов — с резервированием, многоуровневым контролем и длительным планированием.
При этом за время работы в OpenAI Робинсон, по его словам, не встретил коллег с опытом обеспечения безопасности полетов, эксплуатации ядерных реакторов без катастроф или развития финансовой системы без риска ее обрушения. Он считает, что обсуждение должно касаться не только отдельных правил и новых законов, но и общей культуры технологической отрасли. Робинсон также призвал уделять больше внимания согласованию поведения искусственного интеллекта с человеческими ценностями, поскольку нынешние методы такой оценки остаются слишком грубыми.
Представитель OpenAI Дрю Пусатери заявил в ответ на эссе, что компания продолжает усиливать меры безопасности. «Мы следим за тем, чтобы наши модели не становились более способными, чем мы можем безопасно контролировать и защищать, а при необходимости приостанавливаем обучение или откладываем выпуск моделей, чтобы снизить темп», — сказал он. По его словам, OpenAI укрепляет безопасность исследовательской и тестовой инфраструктуры, обучает модели выполнять задачи ответственно, расширяет сотрудничество с независимыми оценщиками и совершенствует мониторинг для более раннего выявления опасного поведения.
Об уходе Робинсона первым сообщил Business Insider. Он признал, что нанял пиар-компанию, однако подчеркнул: «Решение выступить публично принадлежит только мне». Робинсон добавил, что сотрудники были настолько заняты быстрым развитием продуктов, что редко могли обсуждать масштабные изменения, поэтому пришел к выводу о необходимости внешних стимулов для повышения уровня безопасности.