13-летняя школьница из Северной Каролины три месяца пользовалась выданным школой ноутбуком, чтобы обсуждать депрессию, искать сведения о самоубийстве и готовить собственные похороны. Родители девочки подали иск, в котором утверждается, что вмешаться удалось только после срабатывания программы, отслеживающей признаки самоповреждения. Получив уведомление, сотрудники школы связались с матерью, и она смогла остановить дочь.
Ответчиками по делу названы Google и ее материнская компания Alphabet. Семья считает, что компании проявили небрежность при внедрении модели Gemini, а чат-бот подтолкнул подростка к размышлениям о лишении себя жизни. Издание WIRED указывает, что этот случай также показывает ограниченные возможности систем наблюдения, которые американские школы используют для защиты учащихся при работе в интернете.
По словам адвоката семьи Эндрю Лидделла, школьное уведомление сначала поступило на личный телефон бывшего консультанта, который покинул учебное заведение за девять месяцев до этого. Бывший сотрудник передал информацию действующим коллегам. После этого школа сообщила о ситуации матери девочки.
В иске говорится, что школьница, обозначенная как Эмма Доу, пережила тяжелый психологический кризис после того, как поиск Google направил ее к Gemini на школьном компьютере Chromebook. Хотя отдельный сайт Gemini был заблокирован, доступ к чат-боту оставался возможен через режим AI Mode — функцию с уточняющими вопросами и возможностью начать отдельный диалог. С декабря девочка задавала системе вопросы о психическом здоровье, тяжелой депрессии и причинах продолжать жить.
К концу января подросток стала спрашивать о самоубийстве, а в феврале при помощи AI Mode начала составлять в документе Google текст собственных похорон. Объем документа достиг примерно 1,5 тысячи слов, а работа над ним продолжалась более четырех недель при тысячах обращений к Gemini. Позднее девочка удалила большую часть текста и начала писать его заново, но, согласно иску, содержание ее мыслей существенно не изменилось.
Вечером после занятий мать получила от школы сообщение о том, что ее дочь находится в непосредственной опасности. Подключившись к школьному аккаунту с телефона, она, как утверждается в иске, увидела, как девочка в реальном времени пишет предсмертную записку. После этого родители смогли вмешаться и предотвратить трагедию.