Використання нейронної мережі для автоматичної транскрипції аудіофайлів у нотний запис

Abstract

У роботі розглянуто проблему автоматичної транскрипції музичних аудіофайлів у нотний запис із використанням нейронних мереж. Основну увагу приділено аналізу цифрового представлення аудіосигналів, огляду сучасних методів транскрипції та побудові концептуальної моделі відповідної системи. Метою дослідження є розробка концептуальної моделі та створення прототипу інформаційної системи, що виконує автоматичну транскрипцію музичних аудіофайлів у нотний запис з використанням методів глибокого навчання. Методи дослідження ґрунтуються на машинному навчанні та цифровій обробці сигналів. Аудіо трансформується в лог-мел спектрограми, які подаються на вхід CNN; після навчання модель декодує дані у MIDI-формат і генерує нотний запис. У роботі використано такі програмні та апаратні засоби: мову програмування Python, бібліотеки librosa, pretty_midi, music21, а також датасет MAESTRO як джерело аудіо- та нотних даних для навчання та тестування моделі. У результаті дослідження створено прототип AMT-системи на базі CNN для трансформації фортепіанної аудіо у MIDI й нотний запис. Реалізовано обробку спектрограм, генерацію нот та візуалізацію. Новизна полягає в адаптації CNN до AMT із балансом точності й ефективності для практичного застосування.The explanatory note addresses the problem of automatic transcription of musical audio files into sheet music using neural networks. Special attention is given to the analysis of digital representations of audio signals, the review of modern transcription methods, and the development of a conceptual model for the transcription system. The objective of this study is to develop a conceptual model and implement a prototype of an information system that performs automatic transcription of musical audio files into sheet music using deep learning techniques. Research methods are based on machine learning and digital signal processing. Audio data is converted into log-Mel spectrograms, which serve as input to a convolutional neural network (CNN); after training, the model decodes the output into MIDI format and generates corresponding sheet music notation. Software and hardware tools used in the project include the Python programming language and the librosa, pretty_midi, and music libraries. The MAESTRO dataset was used as a source of audio and symbolic music data for model training and evaluation. As a result of the study, a CNN-based AMT system prototype was developed to convert piano audio into MIDI and sheet music. The system performs spectrogram processing, note generation, and visualization. The novelty lies in adapting a convolutional neural network to the AMT task while maintaining a balance between transcription accuracy and computational efficiency, making the solution suitable for educational and applied use.