Инженеры Массачусетского технологического института совместно с исследователями Нью-Йоркского университета разработали систему FLEX для обучения роботов. Она помогает машинам понимать не только буквальный смысл команды, но и скрытые намерения человека. Об этом сообщается на сайте MIT News.
FLEX предназначена для планирования движений робота и позволяет управлять им с помощью обычных разговорных фраз. Система анализирует указание пользователя и делает более общий вывод о том, чего следует избегать. Благодаря этому человеку не нужно заранее перечислять каждое потенциально опасное препятствие.
В качестве примера разработчики привели робота, который переносит чашку кофе через загромождённый стол. Если оператор пишет «Не пролей на ноутбук», машина учитывает не только ноутбук, но и другие электронные устройства, например расположенный рядом телефон. Для таких выводов FLEX использует большую языковую модель GPT-4o, обученную на огромном массиве текстов и способную выявлять связи между предметами и ситуациями.
Работа платформы состоит из трёх этапов. Сначала робот добавляет указанный объект в список важных для выполнения задачи признаков, затем языковая модель обобщает команду и определяет более широкую категорию угроз, а после этого система компьютерного зрения удаляет из списка предметы, которых уже нет в окружающей обстановке. Весь процесс занимает около пяти секунд.
FLEX проверили в симуляциях с тремя задачами: переносом чашки кофе, свечи и шара для боулинга. Команды вроде «Не пролей на ноутбук», «Держись подальше от стопки бумаги» и «Не урони на кружку» позволили роботу соответственно избегать электроники, легковоспламеняющихся предметов и хрупких объектов. Исследование возглавила доцент MIT Андреа Бобу, а его результаты планируют представить на ежегодной конференции по обучению роботов.