Ученые из Массачусетского технологического института создали новое приложение для гарнитуры смешанной реальности Apple Vision Pro, которое позволяет управлять роботами, используя жесты головы и рук. Эта разработка уже доступна в VisionOS App Store, и ее код опубликован на Github, что делает его доступным для всех желающих.
Приложение, получившее название Tracking Streamer, отслеживает движения тела пользователя, включая голову, запястья и пальцы, и передает эту информацию роботу через Wi-Fi. Это позволяет роботам выполнять разнообразные задачи, начиная от шуток и заканчивая спасательными операциями в опасных условиях. В качестве примера, в демонстрационном видео один из разработчиков управляет роботом, который может открывать двери и перемещать предметы.
Важной особенностью гарнитуры Apple Vision Pro является точное отслеживание движений в глобальном масштабе, что расширяет возможности использования человеческих движений в управлении роботами. Это открывает новые перспективы для развития робототехники и взаимодействия человека с машинами.
