Инженеры Массачусетского технологического института разработали новый метод под названием Clio, который помогает роботам эффективно ориентироваться в окружающей обстановке и выполнять поставленные задачи.
Clio позволяет роботу анализировать сцену и выделять только те элементы, которые важны для конкретного задания. Робот получает список задач на естественном языке и определяет необходимый уровень детализации для интерпретации окружения. При этом он «запоминает» только релевантные части сцены.
Исследователи протестировали Clio в различных условиях — от захламленного офиса до пятиэтажного здания в кампусе MIT. Система успешно справлялась с такими задачами, как «переместить стеллаж с журналами» или «найти аптечку», автоматически сегментируя сцену с нужной степенью детализации.
Метод был также опробован на четвероногом роботе в режиме реального времени. Clio позволял роботу фокусироваться только на объектах, связанных с заданием, игнорируя лишнюю информацию.
По словам разработчиков, Clio может найти применение во многих областях, где роботам требуется быстро оценивать обстановку в контексте поставленной задачи. Это могут быть поисково-спасательные операции, работа домашних роботов или промышленных роботов, взаимодействующих с людьми.
В основе Clio лежит комбинация методов компьютерного зрения, обработки естественного языка и картографии. Система использует концепцию «информационного узкого места» для выделения наиболее важных элементов сцены.
В дальнейшем исследователи планируют адаптировать Clio для решения более сложных задач и улучшить понимание системой высокоуровневых команд, сообщает MIT News.