Выравнивание музыки - Music alignment

Первая тема Симфонии № 5 Людвига ван Бетховена в нотном, аудио и фортепианном исполнении. Красные двунаправленные стрелки указывают выровненные временные позиции соответствующих событий нот в различных представлениях.

Музыка можно описать и представить разными способами, включая ноты, символические изображения и аудиозаписи. Для каждого из этих представлений могут существовать разные версии, соответствующие одному и тому же музыкальному произведению. Общая цель выравнивание музыки (иногда также называют синхронизация музыки) заключается в том, чтобы автоматически связывать различные потоки данных, таким образом связывая множество наборов информации, относящихся к данному музыкальному произведению. Точнее говоря, выравнивание музыки понимается как процедура, которая для данной позиции в одном представлении музыкального произведения определяет соответствующую позицию в другом представлении.[1] На рисунке справа такое выравнивание показано красными двунаправленными стрелками. Такой синхронизация результаты формируют основу для новых интерфейсов, которые позволяют пользователям получать доступ, искать и просматривать музыкальный контент удобным способом.[2][3]

Основная процедура

Обзор конвейера обработки типичной процедуры выравнивания музыки.

Учитывая два разных музыкальных представления, типичный подход к музыкальному выравниванию состоит из двух этапов.[1] На первом этапе два представления преобразуются в последовательности подходящих функций. Как правило, при таком представлении функций необходимо найти компромисс между двумя конфликтующими целями. С одной стороны, особенности должны показывать большую степень надежность к вариациям, которые не следует рассматривать для решения поставленной задачи. С другой стороны, функции должны содержать достаточно характерной информации для выполнения данной задачи. Для выравнивания музыки часто используют особенности на основе цветности (также называемый хроматограммы или же профили питч-классов ), которые фиксируют гармонические и мелодические характеристики музыки, но при этом устойчивы к изменениям тембра и инструментовки.

На втором этапе производные последовательности признаков должны быть приведены в (временное) соответствие. С этой целью методы, связанные с динамическое искажение времени (DTW) или же скрытые марковские модели (HMM) используются для вычисления оптимального выравнивания между двумя заданными последовательностями признаков.

Связанные задачи

Согласование музыки и связанные с ней задачи синхронизации были тщательно изучены в области поиск музыкальной информации. Далее мы дадим несколько указателей на связанные задачи. В зависимости от соответствующих типов музыкальных представлений можно различать различные сценарии синхронизации. Например, выравнивание звука относится к задаче временного выравнивания двух разных аудиозаписей музыкального произведения. Точно так же цель согласования партитуры и звука состоит в том, чтобы координировать события нот, указанные в представлении партитуры, с аудиоданными. в не в сети В сценарии два потока данных, которые должны быть выровнены, известны до фактического выравнивания. В этом случае можно использовать процедуры глобальной оптимизации, такие как динамическое искажение времени (DTW) найти оптимальное выравнивание. В общем, сложнее иметь дело со сценариями, когда потоки данных должны обрабатываться онлайн. Один известный онлайн-сценарий известен как оценка после, где музыкант исполняет произведение по заданной партитуре. Затем цель состоит в том, чтобы идентифицировать проигрываемые в данный момент музыкальные события, отображаемые в партитуре, с высокой точностью и низкой задержкой.[4][5] В этом сценарии оценка известна в целом заранее, но производительность известна только до текущего момента времени. В этом контексте использовались методы выравнивания, такие как скрытые модели Маркова или фильтры частиц, где текущая позиция и темп оценки моделируются в статистическом смысле.[6][7] В отличие от классического DTW, такая процедура онлайн-синхронизации по своей сути имеет время выполнения, которое линейно зависит от продолжительности выполняемой версии. Однако основным недостатком является то, что онлайн-стратегия очень чувствительна к локальным вариациям темпа и отклонениям от счета - если процедура не синхронизирована, очень трудно восстановить и вернуться на правильный путь. Еще одна проблема онлайн-синхронизации известна как автоматическое сопровождение. Когда сольную партию играет музыкант, задача компьютера - сопровождать музыканта в соответствии с заданной партитурой, регулируя темп и другие параметры в реальном времени. Такие системы были предложены несколько десятилетий назад.[8][9][10]

Рекомендации

  1. ^ а б Мюллер, Мейнард (2015). Синхронизация музыки. В Основах обработки музыки, глава 3, страницы 115-166. Springer. Дои:10.1007/978-3-319-21945-5. ISBN  978-3-319-21944-8.
  2. ^ Дамм, Дэвид; Фремрей, Кристиан; Томас, Верена; Клаузен, Майкл; Курт, Франк; Мюллер, Мейнард (2012). «Структура цифровой библиотеки для разнородных музыкальных коллекций: от получения документов до кросс-модального взаимодействия». Международный журнал электронных библиотек. 12 (2–3): 53–71. Дои:10.1007 / s00799-012-0087-у.
  3. ^ Мюллер, Мейнард; Клаузен, Майкл; Конз, Верена; Эверт, Себастьян; Фремрей, Кристиан (2010). «Мультимодальный способ познания и изучения музыки» (PDF). Междисциплинарные научные обзоры. 35 (2): 138–153. CiteSeerX  10.1.1.400.245. Дои:10.1179 / 030801810X12723585301110.
  4. ^ Конт, Аршия (2010). «Параллельная архитектура, ориентированная на длительность для согласования музыки и партитуры в реальном времени». IEEE Transactions по анализу шаблонов и машинному анализу. 32 (6): 974–987. CiteSeerX  10.1.1.192.2305. Дои:10.1109 / TPAMI.2009.106. ISSN  0162-8828. PMID  20431125.
  5. ^ Орио, Никола; Лемутон, Серж; Шварц, Димо (2003). «Оценка следующая: Современное состояние и новые разработки» (PDF). Труды Международной конференции по новым интерфейсам для музыкального выражения (NIME): 36–41.
  6. ^ Дуань, Чжияо; Пардо, Брайан (2011). Модель пространства состояний для онлайн-выравнивания полифонической аудиозаписи (PDF). Труды Международной конференции IEEE по акустике, речи и обработке сигналов (ICASSP). С. 197–200. Дои:10.1109 / ICASSP.2011.5946374. ISBN  978-1-4577-0538-0.
  7. ^ Монтеккьо, Никола; Конт, Аршия (2011). 2011 Международная конференция IEEE по акустике, обработке речи и сигналов (ICASSP) (PDF). С. 193–196. Дои:10.1109 / ICASSP.2011.5946373. ISBN  978-1-4577-0538-0.
  8. ^ Данненберг, Роджер Б. (1984). «Он-лайн алгоритм сопровождения в реальном времени» (PDF). Материалы Международной компьютерной музыкальной конференции (ICMC): 193–198.
  9. ^ Рафаэль, Кристофер (2001). «Вероятностная экспертная система автоматического музыкального сопровождения». Журнал вычислительной и графической статистики. 10 (3): 487–512. CiteSeerX  10.1.1.20.6559. Дои:10.1198/106186001317115081.
  10. ^ Данненберг, Роджер Б .; Рафаэль, Кристофер (2006). «Наложение нот и компьютерное сопровождение» (PDF). Коммуникации ACM. 49 (8): 38–43. CiteSeerX  10.1.1.468.2658. Дои:10.1145/1145287.1145311. ISSN  0001-0782.