Исследователи из Университета Карнеги-Меллона разработали специальную систему камер, которая может видеть звуковые вибрации с такой точностью и детализацией, что она способна реконструировать музыку одного инструмента в оркестре.
Система была создана в Институте робототехники Школы компьютерных наук и использует две камеры и лазер для обнаружения быстрых колебаний с низкой амплитудой. Вибрация может использоваться для восстановления звука, захватывая изолированный звук без помех.
“Мы изобрели новый способ видеть звук. Это новый тип системы камер, новое устройство визуализации, способное видеть что-то невидимое невооруженным глазом.“, сказал Марк Шейнин, научный сотрудник лаборатории освещения и изображений (ILIM)
На данный момент исследовательская группа провела несколько успешных демонстраций эффективности своей системы. Они зафиксировали изолированный звук гитар, играющих одновременно, и звуки музыки, исходящие из отдельных динамиков, воспроизводящих разные песни одновременно.
Система с двумя камерами способна улавливать вибрации от движущихся объектов, например движение гитары, и в то же время «ощущать» отдельные звуки из многих других точек.
Как работает разработанная система оптических микрофонов?
Система работает на основе анализа различий рисунка точек на фотографиях, сделанных с использованием глобального затвора и скользящего затвора (rolling shutter).
Rolling shutter — это метод захвата изображения, при котором затвор сканирует данные сцены, которые захвачены не полностью, а фрагментами, по вертикали, горизонтали или по вращению.
Специальный алгоритм вычисляет разницу в точечных рисунках двух записей и преобразует эту разницу в вибрации для восстановления звука.
Рисунок точек указывает на то, как свет ведет себя в пространстве при отражении от шероховатой поверхности. Инженеры создают эти узоры, направляя лазер на поверхность объекта, производящего вибрацию, например корпус гитары или пачку чипсов. Рисунок точек меняется, когда поверхность вибрирует.
Роллинг-шаттер быстро захватывает изображение во время его сканирования, создавая изображение путем наложения одного ряда пикселей поверх другого. С другой стороны, глобальный снимок фиксирует изображение на одной фотографии.
Применение оптического микрофона
Одним из применений оптического микрофона является создание компьютерного зрения, которое будет использоваться в космосе, особенно в автономных транспортных средствах. Новая система призвана помочь распознавать и отслеживать объекты в космосе.
Новая система позволит лучше видеть незаметные высокочастотные вибрации.
Кроме того, оптический микрофон может быть чрезвычайно полезен при создании музыки или при контроле вибрации отдельных машин в производственном цеху для выявления ранних признаков необходимости ремонта.
«Если ваш автомобиль начинает издавать странный шум, знайте, пора за ним следить. А теперь представьте себе зал, полный машин. Наша система позволяет следить за состоянием каждой из них, фиксируя их вибрации с одной стационарной камеры». — сказал Шейнин.
Первые визуальные микрофоны были разработаны учеными Массачусетского технологического института в 2014 году.
