Optical music recognition: challenges and future directions

Abstract

Optical music recognition (OMR) as a branch of computer vision has deep roots dating back to the sixties, but has been actively developing only in the last few decades. The main goal of OMR is to automate the process of converting a musical score into a digital format. Despite the advances in image processing, there are still some difficulties, caused by the field’s specifics, described in the work. Defining the concept of OMR is problematic, as there are numerous definitions ranging from task-specific to general. A comprehensive definition is proposed in the work, which allows more clearly outlining the semantic boundaries of the studied concept. The peculiarities of the contextuality of musical notation in comparison with text systems of writing are discussed. The range of sizes of musical symbols as a separate feature of notation is mentioned. The importance of the impact of text marks on the recognition difficulty is noted. The importance of visual differences between musical symbols and their influence on recognition accuracy is explained. The difficulty of recognizing sheets with several voices within one staff and with multiple staves is highlighted. The classification of sheet music types depending on the presence of several voices and staves is reviewed. The impact of score format on recognition difficulty is discussed. The impact of musical notation types on the OMR process is noted. The work considers the general structure of the OMR system, proposed by D. Bainbridge and T. Bell, and the main stages of the musical notation recognition process, according to the structure. The «bottom-up» structure of the OMR system, according to A. Pacha, is considered. The difficulties of OMR systems evaluation are discussed, examples from the literature are provided. Currently available software for OMR, its capabilities and limitations are also reviewed. The results of testing one of them, the Audiveris module built into the MuseScore platform for converting sheet music into digital format, on specific musical compositions are described and summarized.

Оптичне розпізнавання нотного запису (англ. Optical Music Recognition, OMR) як галузь комп'ютерного зору має глибоке коріння ще з шістдесятих років, але активно розвивається лише в останні кілька десятиліть. Основна мета OMR – автоматизувати процес перетворення музичної партитури у цифровий формат. Незважаючи на прогрес в обробці зображень, все ще існують певні труднощі, викликані специфікою галузі, описані в роботі. Визначення поняття OMR є проблематичним, оскільки існує безліч формулювань, починаючи від конкретизованих, що відповідають чітким завданням, і закінчуючи більш узагальненими. У роботі запропоновано всеосяжне визначення, що дозволяє чіткіше окреслити семантичні межі досліджуваного поняття. Обговорено особливості контекстуальности музичної нотації в порівнянні з текстовими системами письма. Обговорено діапазон розмірів музичних позначень як окрему особливість нотного запису. Зазначено про важливість впливу текстових позначень у партитурах на складність при розпізнаванні нот. Пояснено важливість візуальних відмінностей між музичними символами та їхній вплив на точність розпізнавання. Висвітлено складність розпізнавання музичних творів з кількома голосами в межах однієї партії та творів з кількома партіями. Розглянуто класифікацію типів музичних творів в залежності від наявности кількох голосів та партій. Обговорено вплив формату партитур на складність розпізнавання. Зазначено про вплив різних типів музичної нотації на процес OMR. Крім цього, у роботі розглянуто загальну структуру OMR-системи, запропоновану Д. Бейнбріджем та Т. Беллом, та основні етапи процесу розпізнавання нотного запису відповідно до цієї структури. Розглянуто структуру OMR-системи «знизу-вгору» за А. Пахою. Обговорено труднощі в оцінці працездатности OMR-систем, наведено приклади з літератури. Також оглянуто навне на сьогодні програмне забезпечення для OMR, його можливості й обмеження. Описано та узагальнено результати тестування одного з них, вбудованого в платформу MuseScore модуля Audiveris для перетворення нот у цифровий формат, на конкретних музичних творах