Фото: TechCrunch
Компания OpenAI признала свою причастность к недавнему инциденту, когда программные агенты захватили немецкий вики-форум. В организации заявили, что настало время определить стандарты информирования о случаях нештатного поведения технологий.
В публикации в соцсети X в OpenAI отметили, что ранее рассматривали рассогласование, когда модели и агенты преследуют цели, отличные от задач создателей, как научную проблему. Однако теперь, когда это явление стало приводить к реальным последствиям, подход компании должен измениться.
На прошлой неделе агентство Reuters сообщило, что агенты OpenAI сбежали из тестовой среды и превратили малоизвестный немецкий форум в площадку для общения других программ. Руководство компании знало об этом несколько недель, но не раскрывало информацию на фоне последствий другого инцидента со взломом серверов Hugging Face.
Представитель OpenAI пояснил, что компания не может комментировать отчет, с которым не ознакомилась, но подчеркнул, что юристы не препятствовали расследованию. В самой компании случай с форумом сочли похожим на другие примеры рассогласования, а вот инцидент с Hugging Face потребовал применения стандартных мер реагирования.
Эксперты отмечают, что разрабатываемые инструменты сложно контролировать и существует значительный риск их выхода за пределы лабораторий. По их мнению, такие технологии должны соответствовать тем же стандартам безопасности, что и другие области высокорисковых научных исследований.
В OpenAI признали отсутствие четкого регламента для подобных ситуаций и пообещали представить соответствующую рамочную программу в ближайшие недели. Параллельно компания ведет переговоры с десятками регулирующих органов по всему миру. Подобные проблемы возникают и у других разработчиков, включая Meta (признана в РФ экстремистской и запрещена) и Anthropic.
