Создан микрофон, который «видит» звук конкретного инструмента в оркестре

Исследователи из Университета Карнеги-Меллона разработали специальную систему камер, которая может видеть звуковые вибрации с такой точностью и детализацией, что она способна реконструировать музыку одного инструмента в оркестре.

Создан микрофон, который "видит" звук конкретного инструмента в оркестре

Система была создана в Институте робототехники Школы компьютерных наук и использует две камеры и лазер для обнаружения быстрых колебаний с низкой амплитудой. Вибрация может использоваться для восстановления звука, захватывая изолированный звук без помех.

«Мы изобрели новый способ видеть звук. Это новый тип системы камер, новое устройство визуализации, способное видеть что-то невидимое невооруженным глазом.«, сказал Марк Шейнин, научный сотрудник лаборатории освещения и изображений (ILIM)

На данный момент исследовательская группа провела несколько успешных демонстраций эффективности своей системы. Они зафиксировали изолированный звук гитар, играющих одновременно, и звуки музыки, исходящие из отдельных динамиков, воспроизводящих разные песни одновременно.

Система с двумя камерами способна улавливать вибрации от движущихся объектов, например движение гитары, и в то же время «ощущать» отдельные звуки из многих других точек.

Как работает разработанная система оптических микрофонов?

Система работает на основе анализа различий рисунка точек на фотографиях, сделанных с использованием глобального затвора и скользящего затвора (rolling shutter).

  Microsoft встроила в браузер Edge новую мини-игру на случай отсутствия Интернета

Rolling shutter — это метод захвата изображения, при котором затвор сканирует данные сцены, которые захвачены не полностью, а фрагментами, по вертикали, горизонтали или по вращению.

Специальный алгоритм вычисляет разницу в точечных рисунках двух записей и преобразует эту разницу в вибрации для восстановления звука.

Рисунок точек указывает на то, как свет ведет себя в пространстве при отражении от шероховатой поверхности. Инженеры создают эти узоры, направляя лазер на поверхность объекта, производящего вибрацию, например корпус гитары или пачку чипсов. Рисунок точек меняется, когда поверхность вибрирует.

Роллинг-шаттер быстро захватывает изображение во время его сканирования, создавая изображение путем наложения одного ряда пикселей поверх другого. С другой стороны, глобальный снимок фиксирует изображение на одной фотографии.

Применение оптического микрофона

Одним из применений оптического микрофона является создание компьютерного зрения, которое будет использоваться в космосе, особенно в автономных транспортных средствах. Новая система призвана помочь распознавать и отслеживать объекты в космосе.

Новая система позволит лучше видеть незаметные высокочастотные вибрации.

Кроме того, оптический микрофон может быть чрезвычайно полезен при создании музыки или при контроле вибрации отдельных машин в производственном цеху для выявления ранних признаков необходимости ремонта.

«Если ваш автомобиль начинает издавать странный шум, знайте, пора за ним следить. А теперь представьте себе зал, полный машин. Наша система позволяет следить за состоянием каждой из них, фиксируя их вибрации с одной стационарной камеры». — сказал Шейнин.

Первые визуальные микрофоны были разработаны учеными Массачусетского технологического института в 2014 году.

Подписка на наши новости:
  Японская компания разработала систему, которая производит электроэнергию из сточных вод
Science XXI
Добавить комментарий

Adblock
detector