Выпускник Детского технопарка «Альтаир» РТУ МИРЭА и ученик инженерного класса школы № 1347 Кирилл Карагезов создал мобильное приложение «Дактиль». Оно предназначено для распознавания динамических жестов русского жестового языка в реальном времени и может работать без подключения к интернету.
В основе приложения лежит гибридная нейросетевая модель, которая анализирует форму руки и направление ее движения. На тестовой выборке точность распознавания достигла 89%. Система обучалась на 200 видеозаписях с 10 жестами, среди которых «Привет», «Прощание», «Да», «Нет», «Помочь», «Хотеть», «Слышать», «Говорить», «Еда» и «Вода».
Разработка способна обрабатывать видео непосредственно на смартфоне, в том числе на бюджетных устройствах. Приложение переводит жесты в текст, а также позволяет собеседнику вводить ответ крупным шрифтом, чтобы упростить общение с людьми с нарушением слуха.
По словам Кирилла Карагезова, его целью было создание инструмента для повседневного общения, который не зависит от подключения к сети и способен распознавать не отдельные буквы, а полноценные динамические жесты. В дальнейшем разработчик планирует увеличить словарь до 40–50 жестов и добавить синтез речи.
Преподаватель Детского технопарка «Альтаир» Дмитрий Ларин отметил, что школьник самостоятельно прошел все основные этапы проекта — от сбора и разметки данных до обучения нейросети и создания работающего мобильного приложения. Проект также получил поддержку руководства РТУ МИРЭА.
Разработка стала победителем прикладного конкурса для школьников «Золотая дюжина» и заняла призовое место на заключительном этапе научно-практической конференции «Инженеры будущего». В дальнейших планах автора — расширение возможностей приложения и улучшение обработки текста.