
OpenAI представила набор новых инструментов для борьбы с материалами сексуального насилия над детьми. В него вошли система распознавания таких изображений, предупреждения для пользователей и временная блокировка аккаунтов. Об этом сообщает TechCrunch.
Новый классификатор способен находить материалы, созданные с помощью искусственного интеллекта, а также ранее неизвестные изображения. Отдельным компаниям предоставят бесплатный доступ к инструменту через программный интерфейс OpenAI. Система оценивает визуальные признаки возможного насилия и формирует показатель, который помогает специалистам принимать решения при проверке.
Классификатор разработали совместно с Национальным центром по пропавшим и эксплуатируемым детям США. OpenAI также сотрудничает с технологической коалицией Tech Coalition и организацией ROOST, чтобы расширить доступ к системе. Во время ранних испытаний инструмент позволил сократить число проверяемых изображений на 48% при сохранении прежнего количества выявленных нарушений, а отмеченные им материалы вдвое чаще оказывались запрещёнными.
В ChatGPT появятся дополнительные предупреждения для пользователей, пытающихся получить доступ к материалам, сексуализирующим детей. Сервис будет показывать уведомление, направлять человека к специализированной помощи для прекращения опасного поведения и временно приостанавливать его аккаунт на 24 часа. Повторные нарушения могут привести к окончательному удалению учётной записи, при этом запросы и материалы, связанные с сексуальным насилием над детьми, уже заблокированы.
OpenAI опубликовала рекомендации для разработчиков по предотвращению, выявлению и передаче сообщений о подобных материалах. Компания также создаёт для правоохранительных органов специальные плагины, инструменты расследований и средства анализа сложных массивов данных, доступ к которым будут контролировать администраторы программ. Кроме того, следователям предоставят обучение и практическое руководство по применению искусственного интеллекта, а за последний год OpenAI сообщила о выпуске плана по безопасности, обновлении правил для несовершеннолетних и отдельной версии ChatGPT для подростков.