Исследователи из Массачусетского технологического института, Университета Карнеги — Меллона, Нью-Йоркского университета и Стэнфордского университета создали систему искусственного интеллекта Ataraxos, которая значительно превзошла сильнейших игроков в настольной военной игре Stratego. Результаты работы опубликованы в журнале Nature, о чём сообщает сайт Массачусетского технологического института. Разработчики считают, что подобные алгоритмы в будущем смогут помогать людям принимать решения в ситуациях с неполной информацией.
В Stratego участники размещают на своей половине поля по 40 фигур и пытаются захватить флаг соперника. При этом обозначения фигур скрыты до момента столкновения, а проигрывает фигура с более низким рангом. Число возможных конфигураций в игре превышает 1066, что делает её существенно сложнее шахмат для систем искусственного интеллекта.
Для обучения Ataraxos применили усиленное обучение с самостоятельной игрой: модель многократно соревновалась сама с собой и формировала базовую стратегию. Затем во время партии система уточняла решения с помощью планирования в момент принятия решения. Генеративная модель оценивала вероятные характеристики скрытых фигур противника, после чего алгоритм сравнивал возможные продолжения и выбирал ход.
Такой подход позволил системе превзойти предыдущие модели при значительно меньших затратах. По словам профессора кафедры электротехники и компьютерных наук Массачусетского технологического института Габриэле Фарины, Ataraxos достигла более высокой игровой силы, чем система DeepNash компании DeepMind, используя менее одной сотой обучающих примеров и менее одной тридцатой партий самостоятельной игры. Ранее даже модели, на обучение которых тратились миллионы долларов, не могли победить сильнейших игроков Stratego.
Ataraxos выиграла у сильнейшего игрока мира в Stratego со счётом 15:1:4, а в матчах против ведущих участников чемпионата мира показала результат 39:2. Исследователи также проверили систему в других играх с неполной информацией: ускоренной версии Stratego Barrage Stratego, кооперативной карточной игре Hanabi и Dou dizhu, где двое игроков объединяются против третьего. Во всех случаях алгоритм продемонстрировал сверхчеловеческий уровень игры.
Разработчики намерены добавить в Ataraxos средства интерпретируемости, чтобы система могла объяснять свои решения человеку. Фарина подчеркнул, что окончательное решение о применении рекомендации должно оставаться за людьми, поэтому перед внедрением алгоритм необходимо научиться проверять. Работа частично финансировалась Управлением военно-морских исследований США, департаментом гражданского и городского строительства Нью-Йоркского университета, центром C2SMART, Национальным научным фондом и программой Schmidt Sciences AI2050 Early Career Fellowship.