Фото: MIT News
Специалисты Массачусетского технологического института и компании Motional создали систему, которая помогает объяснять решения беспилотных автомобилей. Разработка получила название Concept-Wrapper Network, или CW-Net. Она должна сделать действия автопилота более понятными для водителей и пассажиров.
Беспилотные машины используют модели глубокого обучения, которые могут ошибаться в нестандартных дорожных ситуациях. Например, автомобиль способен неожиданно затормозить и перекрыть путь экстренному транспорту. В таких случаях человеку в салоне необходимо быстро понять причину поведения машины, чтобы при необходимости вмешаться.
CW-Net преобразует внутренние процессы системы управления в понятные формулировки, такие как «приближение к остановившемуся автомобилю» или «близко к велосипедисту». Эти пояснения выводятся одновременно с рассчитанной траекторией движения в реальном времени. При этом, как отмечают разработчики, модуль не должен ухудшать работу исходной модели управления.
Для обучения системы использовали набор из 130 млн примеров дорожных сцен, собранных беспилотными автомобилями. В каждом эпизоде были отмечены различные ситуации и объекты. Благодаря этому CW-Net может распознавать важные для движения факторы в разных условиях.
Испытания на закрытой трассе с роботакси Motional показали, что пояснения помогли водителям безопасности точнее предсказывать действия машины. В одном из случаев автомобиль останавливался рядом с велосипедистом не из-за корректного распознавания человека, а после срабатывания экстренного торможения. Получив такую информацию, водитель мог раньше снизить скорость или перейти на ручное управление.
Похожие результаты получили и в компьютерном исследовании с участием пользователей, где применялись реальные дорожные ситуации из Лас-Вегаса. Участники с пояснениями CW-Net лучше прогнозировали поведение беспилотного автомобиля. Авторы работы, опубликованной в журнале Nature, считают, что технология может помочь инженерам выявлять ошибки систем искусственного интеллекта и повысить безопасность автономного транспорта.
