Никита Игоревич Мирошниченко — кафедра прикладной информатики; ассистент
Санкт-Петербург
Nikita I. Miroshnichenko - Department of Applied Informatics; Assistant
St. Petersburg
Исследуются методы классификации аудиосигналов, полученных из нескольких одновременно активных источников и с частично пересекающимися признаками. В реальных аудиозаписях часто содержатся звуки нескольких источников, что значительно усложняет задачу автоматического распознавания и снижает точность стандартных моделей, обученных на однокомпонентных сигналах. Цель исследования — оценить эффективность различных сценариев классификации многокомпонентных аудиосигналов. В экспериментах использованы архитектуры ResNet18, ResNet34 и ResNet50. Рассмотрены модели, обученные на однокомпонентных аудиосигналах и протестированные на многокомпонентных с применением классических спектральных фильтров и нейросетевого разделителя Demucs, а также модели, обученные непосредственно на многокомпонентных сигналах. Обучение на многокомпонентных сигналах обеспечило наивысшую точность классификации — до 88,5 % на тестовых наборах. Использование фильтрации и нейросетевого разделения повышает точность моделей, обученных на однокомпонентных аудиосигналах, но полностью компенсировать различие между распределениями данных не удается. Модель, обученная на многокомпонентных аудиосигналах, при тестировании на однокомпонентных показала крайне низкую точность, что выявило ограничения ее прямого применения к задачам идентификации отдельных источников. Полученные результаты подчеркивают важность формирования реалистичных тренировочных наборов и необходимость разработки гибридных подходов, объединяющих модели для однокомпонентных и многокомпонентных сигналов, чтобы повысить универсальность и устойчивость классификаторов.
Methods for classifying audio signals received from several simultaneously active sources and with partially overlapping features are being investigated. Real audio recordings often contain sounds from multiple sources, which significantly complicates the task of automatic recognition and reduces the accuracy of standard models trained on single-component signals. The purpose of the study is to evaluate the effectiveness of various classification scenarios for multicomponent audio signals. The ResNet18, ResNet34, and ResNet50 architectures are used in the experiments. Models trained on single-component audio signals and tested on multicomponent ones using classical spectral filters and the Demucs neural network separator, as well as models trained directly on multicomponent signals, are considered.
Multicomponent signal training provides the highest classification accuracy, up to 88.5% on test sets. The use of filtering and neural network separation increases the accuracy of models trained on single-component audio signals, but it is not possible to fully compensate for the difference between data distributions. The model trained on multicomponent audio signals demonstrates extremely low accuracy when tested on single-component ones, which reveal the limitations of its direct application to the tasks of identifying individual sources. The results obtained emphasize the importance of forming realistic training sets and the need to develop hybrid approaches combining models for single-component and multicomponent signals in order to increase the versatility and stability of classifiers.
The authors declare that there are no conflicts of interest present.