Този оптичен микрофон може да записва няколко инструмента поотделно

„Марк Шейнин (вляво) и Дориан Чан бяха част от изследователски екип на CMU, който разработи система от камери, която може да вижда звуковите вибрации с такава прецизност, че може да улавя изолиран звук от отделни китари, свирещи едновременно.“

Въпреки че чувствителността и производителността на микрофоните се подобриха доста от Александър Греъм Бел първи патентова те все още имат един голям недостатък, от който изследователите Университет Карнеги Мелън може най-накрая да преодолее чрез използване а чифт обикновени видеокамери.

Поставете микрофон в стая с група музиканти, и докато ще улавяте всяка последна нотка и нюанс на техните индивидуални изпълнения, ще останете с един-единствен запис с всичко смесено. Но за да звучи това изпълнение още по-добре, yили в идеалния случай искам всеки инструмент и музикант да бъдат заснети поотделно, така че всяко изпълнение може да бъде повторно смесено от звуков инженер с опитно ухо.

Разработени са софтуерни инструменти за извличане на отделни звуци от аудиозапис, но резултатите просто не са толкова добри, колкото бихте получили при заснемане на един източник на звук с един микрофон. Ето защо миксиращите дъски често са толкова гигантски и сложни: безброй микрофони с ограничени модели на пикап трябва да бъдат настроени, за да уловят правилно всеки компонент от музикалното изпълнение, от вокали до инструменти, което представлява много оборудване, за да се правят нещата правилно.

Наистина няма начин да се преработят микрофони, за да се разграничат уловените звукови вибрации, движещи се във въздуха, поради което изследователите от университета Карнеги Мелън Институт по роботика към училището по компютърни науки вместо това се обърнаха към видеокамерите. Смъркайте по струните на китара, и не само ще произвежда звукови вълни, вибриращи във въздуха, но също така ще накара самата китара да вибрира в процеса. С подходящото оборудване тези вибрации могат да бъдат визуализирани и анализирани, за да се пресъздадат звуците, които се произвеждат, дори ако не са записани звуци.

Оптичните микрофони, както се наричат ​​тези камерни системи, не са нова идея, а това, което изследователите на CMU са измислили и споделиха в наскоро публикуван документ, “Оптично разпознаване на вибрации с двоен затвор„е начин да ги накарате да работят с помощта на нисък клас и по-достъпен фотоапарат.

Новата система осветява ярък лазерен източник на светлина върху вибрираща повърхност, като тялото на китара, и улавя движенията на получения петна светлина. Тъй като обхватът на човешкия слух може да улавя трептящи звуци толкова бързо, колкото 20 000 пъти всяка секунда, оптичните микрофони обикновено разчитат на скъпи високоскоростни камери, за да улавят физически вибрации, които осцилират също толкова бързо. Но новата CMU система използва камери, работещи само с 63 кадъра в секунда, което привидно би пропуснало високоскоростните движения на вибрация, случваща се 20 000 пъти всяка секунда.

Умният пробив тук е използването на два различни типа камери едновременно: една с глобален затвор, който заснема цели кадри от видео, което води до отчетливи шарки на петна и един с подвижна щора, която улавя кадри ред по ред от горната до долната част на сензора, което води до изкривени шарки на петна, които всъщност съдържат повече информация за това как се движат напред и назад във времето.

С помощта на персонализиран алгоритъм, заснетите кадри от всяка камера могат да се сравняват един с друг, за да се определят по-точно движенията на вибриращите петнисти лазерни модели до 63 000 пъти всяка секунда – или толкова бързо, колкото може да бъде скъпа високоскоростна камера.

Оптично разпознаване на вибрации с двоен затвор (CVPR 2022 Oral)

Подходът позволява аудиото да се извлича индивидуално от няколко източника в едно видео, като например множество музиканти, всеки свири на собствена китара, или дори няколко високоговорителя, които свирят различна музика.

Извлеченото аудио не е толкова ясно или с висока точност, колкото това, което традиционният микрофон може да заснеме, но оптичният микрофон може да осигури на миксиращите двигатели лесен за наблюдение на отделните инструменти по време на изпълнение на живо и с течение на времето няма съмнение в качеството на извлеченото аудио ще продължи да се подобрява. Системата има и други интересни приложения извън музиката. Видеокамера, наблюдаваща всички машини на заводския етаж или насочена към двигателя на работещ автомобил, може да определи кога отделни части или компоненти издават необичаен звук, което показва, че може да е необходима поддръжка, преди проблемът действително да се превърне в проблем.

.