обнаруживать различные звуки / источники в аудиозаписи
Мне нужен совет по этой идее, которую я получил для проекта UNI.
Мне было интересно, возможно ли разделить аудиофайл на разные «потоки» из разных аудиоисточников.
Например, разделите аудиофайл на: шум двигателя, шум поезда, голоса, различные звуки, которых нет постоянно и т. Д.
Мне не обязательно делать это на языке программирования (хотя это было бы идеально), но также и вручную, используя некоторые программы для обработки звука, такие как Sound Forge. Мне нужно знать, возможно ли это сначала, хотя. Я ничего не знаю об обработке звука.
После завершения первого этапа (разделения звуков) я хочу определить, существует ли один из обработанных звуков в другой аудиозаписи. Целью было бы обнаружение звука. В качестве (идеального) примера возьмите звук двигателя автомобиля и сопоставьте его с другим файлом и определите, является ли звук записью двигателя автомобиля или нет. Это не должно быть ТОЧНО, я думаю, обнаружение звука, который не является постоянным, как гудок! было бы хорошо, а также.
Я буду заниматься программированием, мне просто нужно несколько указателей на то, что искать (программное обеспечение, математика и т. Д.). Поскольку я не эксперт по звуку, это был бы действительно интересный проект, если это возможно.
Благодарю.
Решение
Это очень Трудно сделать автоматическое разделение источника из одного аудиопотока. Ваш мозг необычайно хорош в этой задаче, и он также получает выгоду от стереосигнала.
Например. голос полон сигналов, которых нет постоянно. У автомобильного шума есть компоненты, которые являются довольно постоянными, но изменения механизма являются выбросами.
К сожалению, простых ответов нет.
Другие решения
Соотнесите опорные сигналы с аудиопотоком. Корреляция может быть эффективно выполнена с использованием БПФ. Выходные данные вычисления корреляции могут быть пороговыми и «отклоненными» во времени для идентификации сигнала.
Эта проблема разделения звуков на основе источника известна в исследованиях как (Аудио) Разделение источников или же Разделение звукового сигнала. Если больше нет информации об источниках звука или о том, как они были микшированы, это слепой Разделение источников проблема. Есть сотни статей по этим темам.
Однако для целей обнаружения звука обычно нет необходимости разделять звуки на уровне звука. Очень часто можно (и будет) обнаруживать объекты, рассчитанные по смешанному сигналу. Поиск литературы для Обнаружение акустических событий а также Акустическая классификация событий.
Для введения в предмет, проверить книгу, как Вычислительный анализ звуковых сцен и событий