Google DeepMind представила исследовательскую версию мировой модели Genie 4. Система создаёт интерактивные фотореалистичные пространства, которые можно изменять текстовыми командами прямо во время симуляции. Она также генерирует синхронизированный с происходящим звук: музыку, фоновые шумы и диалоги с объектами виртуального мира.
По данным TechCrunch, Genie 4 способна в реальном времени менять погоду и ракурс камеры, добавлять людей и предметы или редактировать другие элементы сцены. Модель сохраняет целостность созданного пространства до двух минут — вдвое дольше Genie 3, выпущенной в исследовательском режиме чуть более года назад. Кроме того, разработчики улучшили физику и сделали персонажей более похожими на людей.
Новая система появилась на фоне усиления конкуренции среди разработчиков мировых моделей. За несколько месяцев до этого стартап Runway представил GWM Worlds 2 — игровую модель, реагирующую на действия пользователя и умеющую создавать звук. Одновременно World Labs Фэй-Фэй Ли должна перейти под контроль AMD, Amazon ведёт переговоры о покупке Decart, а Rivian приобрела Third Dimension для использования симуляций при испытаниях систем автономного вождения.
Genie 4 теснее связана с искусственным интеллектом Gemini, который выступает в роли режиссёра: планирует последовательность действий и проверяет отдельные кадры, пока Genie формирует визуальную часть. В эксперименте, связанном с Gemini Robotics, модель Gemini 4 Argon разбивала задачи на этапы, а Genie 4 воспроизводила их в реальном времени. Такой подход может позволить проверять сценарии для роботов в виртуальной среде до их реализации в физическом мире.
«В будущем мы всё чаще будем видеть гибридные мировые модели, в которых Gemini пишет код и текст, а Genie в реальном времени воспринимает их и моделирует реальность на разных уровнях абстракции», — заявил на брифинге исследовательский директор Google Теджас Кулкарни. Среди возможных сфер применения он назвал игры, интерактивное обучение и робототехнику, а одним из примеров обучения может стать разговор с персонажами внутри картины, изображающей историческое событие.
Первые тестировщики также рассматривают Genie 4 как инструмент для разработки фильмов и раскадровок. Инженер Google DeepMind Диего Ривас отметил: «Аспект работы в реальном времени становится наиболее ценным там, где особенно важно сохранять творческий поток. Например, на этапе поиска идей, создания раскадровки — везде, где требуется быстро генерировать варианты». Сейчас Genie 4 доступна доверенным тестировщикам, а в ближайшие недели появится у подписчиков Google AI Ultra в Project Genie, а также у партнёров с ранним доступом к Gemini API и Google AI Studio; при этом разработчики предупреждают, что детали сцены могут постепенно изменяться, а точность звука и читаемость текста внутри миров пока остаются проблемами.