Учёные из Китая разработали сенсор LightTok, способный снизить энергозатраты дронов и других автономных устройств при обработке изображений. Описание двухмерного чипа опубликовано 19 августа в журнале Nature Sensors. Устройство преобразует световые сигналы в токены — элементы данных, с которыми непосредственно работают модели искусственного интеллекта.
В обычных системах сенсор сначала фиксирует свет, затем аналого-цифровой преобразователь переводит сигнал в пиксели. После этого изображение временно сохраняется, передаётся на отдельный чип, разбивается на квадратные участки и только потом преобразуется в токены. По данным одного из исследований, на аналого-цифровое преобразование в среднем приходится 66% энергопотребления сенсора изображения, а передача обработки во внешнее облако может увеличить затраты энергии.
Создатели LightTok объединили регистрацию света, хранение данных и вычисления в одном пикселе. Основой устройства стала матрица из однослойных фототранзисторов с плавающим затвором на основе дисульфида молибдена. Этот двухмерный материал хорошо реагирует на свет и может формироваться в листы толщиной в один атом, а фототранзистор преобразует фотоны в электрический ток.
Плавающий затвор удерживает электрический заряд даже после исчезновения освещения, благодаря чему компонент способен не только воспринимать сигнал, но и сохранять его для последующих вычислений. «Наша идея заключалась в том, чтобы перенести создание токенов непосредственно в сенсор: тогда чип сможет формировать их сразу после попадания света, а модели искусственного интеллекта — обрабатывать их», — заявил Мяо Фэн, директор Института интеллекта, вдохновлённого работой мозга, Нанкинского университета. По его словам, такие токены содержат всю информацию об изображении.
Физик Нанкинского университета Лян Ши-Цзюнь в комментарии китайскому государственному агентству Синьхуа описал принцип работы словами: «Чип физически устраняет перемещение данных, которое является главным источником потерь энергии». Название LightTok связано с формулой «свет входит — токены выходят». Во время испытаний система достигла точности распознавания изображений 87,3% и оказалась в десять раз эффективнее обычного многоэтапного подхода при преобразовании света в токены.
Пока максимальное разрешение LightTok составляет 32 на 32 светочувствительных пикселя, что значительно уступает современным камерам смартфонов, не говоря о сенсорах дронов. Исследователи считают, что масштабирование с использованием комплементарной металл-оксид-полупроводниковой технологии, применяемой при производстве микросхем для смартфонов, ноутбуков и дронов, может расширить возможности устройства. При успешном развитии технология способна снизить энергозатраты удалённого наблюдения, например позволить дрону дольше работать при обследовании зоны бедствия или отдалённой территории.