priborИзвестия высших учебных заведений. ПриборостроениеJournal of Instrument Engineering0021-34542500-0381Национальный исследовательский университет ИТМО10.17586/0021-3454-2024-67-9-731-740pribor-27Research ArticleИНФОРМАТИКА И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫINFORMATICS AND INFORMATION PROCESSESУсовершенствование алгоритма идентификации эмоционального состояния человека с использованием MFCCImprovement of the Human Emotional State Identification Algorithm Using MFCCСеменюкВ. В.SemenukV. V.

Виктория Валерьевна Семенюк, аспирант

кафедра программного обеспечения вычислительной техники

Новочеркасск

Victoria V. Semenuk, Post-Graduate Student

Department of Computer Software

Novocherkassk

semenuk.viktoriya@gmail.comСкладчиковМ. В.SkladchikovM. V.

Максим Владимирович Складчиков, аспирант

кафедра электропривода и автоматизации промышленных установок

Донецк

Maxim V. Skladchikov, Post-Graduate Student

Department of Electric Drives and Automation of Industrial Installations

Donetsk

maxsklad19981@yandex.ruЮжно-Российский государственный политехнический университет (НПИ) им. М. И. ПлатоваPlatov South-Russian State Polytechnic UniversityДонецкий национальный технический университетDonetsk National Technical University202425112024679731740Copyright © Национальный исследовательский университет ИТМО, 20242024Национальный исследовательский университет ИТМОНациональный исследовательский университет ИТМОhttps://pribor.ifmo.ru/jour/about/submissions#copyrightNoticehttps://pribor.ifmo.ru/jour/article/view/27

   Представлен подход к реализации алгоритма эмоционального состояния человека с использованием сверточных нейронных сетей. На основе общей концепции научного исследования рассмотрен вариант усложнения иерархии идентифицируемых эмоций. Проведен сравнительный анализ применения оконного преобразования Фурье и алгоритма MFCC в качестве инструмента для обработки информационных данных. Вариант усложнения предлагаемого метода рассматривается как логический переход от более простого математического аппарата,представленного в виде оконного преобразования Фурье, к мелкепстральным коэффициентам. Благодаря данному подходу сформирован более информативный входной набор данных без усложнения архитектуры нейронной сети, скорректирована методология научного исследования и с использованием идеализированной базы данных достигнута точность идентификации, близкая к 100 %. Приведено обоснование применения Deep Network Designer как инструмента для создания архитектуры нейронной сети.

   An approach to the implementation of an algorithm for the emotional state of a person using convolutional neural networks is presented. Based on the general concept of scientific research, a variant of complicating the hierarchy of identifiable emotions is considered. A comparative analysis of the application of the windowed Fourier transform and the MFCC algorithm as a tool for processing information data is carried out. The variant of complication of the proposed method is considered as a logical transition from a simpler mathematical apparatus, presented in the form of a windowed Fourier transform to the use of mel-frequency cepstral coefficients. This allowed to form a more informative input data set without complicating the neural network architecture, the methodology of scientific research was adjusted and, using an idealized database, the accuracy of identification close to 100% was achieved. The rationale for using Deep Network Designer as a tool for creating neural network architecture is given.

нейронная сетьраспознавание эмоций человекасверточная нейронная сетьдактилоскопия звукаneural networkhuman emotion recognitionconvolutional neural networksound fingerprintingReferencesТоп-5 сфер применения систем распознавания объектов [Электронный ресурс]: https://habr.com/ru/company/toshibarus/blog/433544/, 10. 03. 2022.https://habr.com/ru/company/toshibarus/blog/433544/. (in Russ.)Li X., Chen Y., Hu J., Zhang J., Zhang Z. Recognizing emotion in human-computer interaction-a survey / IEEE Transactions on Affective Computing. 2016. N 7 (2). P. 149–166.Li X., Chen Y., Hu J., Zhang J., & Zhang Z. IEEE Transactions on Affective Computing, 2016, no. 2(7), pp. 149–166.Шиллер А. В. Выражение модернизируемых эффектов эмоций у искусственных агентов как визуальный язык // Праксема. Проблемы визуальной семиотики. 2019. № 4 (22). С. 223—243.Shiller A.V. Praxema. Journal of Visual Semiotics, 2019, no. 4(22), pp. 223–243. (in Russ.)Рюмина Е. В., Карпов А. А. Аналитический обзор методов распознавания эмоций по выражениям лица человека // Научно-технический вестник информационных технологий, механики и оптики. 2020. Т. 20, № 2. С. 163–176.Ryumina E.V., Karpov A.A. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2020, no. 2(20), pp. 163–176. (in Russ.)Xu H., Liang X., Sun M., Chen S., Feng J. Fusion of Visual and Affective Features for Emotion Recognition in the Wild // IEEE Transactions on Affective Computing. 2018. N 9 (2). P. 261–274.Xu H., Liang X., Sun M., Chen S., & Feng J. IEEE Transactions on Affective Computing, 2018, no. 2(9), pp. 261–274.Zhao M., Adelhardt J., Kummert F. Real-time emotion recognition from facial images using deep neural networks // Proc. of the ACM on Intern. Conf. on Multimodal Interaction. 2018. P. 440–447.Zhao M., Adelhardt J., & Kummert F. Proceedings of the 2018 ACM on International Conference on Multimodal Interaction, 2018, pp. 440–447.Shan H., Kan M., Wang S., Yan S. Deep learning for emotion recognition: A survey // IEEE Transactions on Affective Computing. 2017. N 8 (4). P. 512–527.Shan H., Kan M., Wang S., & Yan S. IEEE Transactions on Affective Computing, 2017, no. 4(8), pp. 512–527.Хрусталёв В. О., Зубков А. В. Разработка технологии распознавания эмоций человека на основе изображений, поступающих с веб-камеры // XXIV региональная конференция молодых ученых и исследователей Волгоградской области. 2020. С. 223–224 [Электронный ресурс]: https://elibrary.ru/item.asp?ysclid=m0425zwq1q320826398&id=42400458.Khrustalev V.O., Zubkov A.V. XXIV regional'naya konferentsiya molodykh uchonykh i issledovateley Volgogradskoy oblasti (XXIV Regional Conference of Young Scientists and Researchers of the Volgograd Region), Volgograd, 2020, рр. 223–224. (in Russ.) https://elibrary.ru/item.asp?ysclid=m0425zwq1q320826398&id=42400458.Курицкий В. Ю., Садов С. В. Нейросетевой алгоритм распознавания эмоций по изображению лица // Компьютерные технологии и анализ данных (CTDA’2020). 2020. С. 245–248.Kuritsky V.Yu., Sadov S.V. Komp'yuternyye tekhnologii i analiz dannykh (CTDA'2020) (Computer Technologies and Data Analysis (CTDA'2020)), Proceedings of the II International Scientific and Practical Conference, Minsk, April 23–24, 2020, рр. 245–248. (in Russ.)Хнюнин М. В., Ганелина Н. Д. Перспективы применения личных мобильных устройств для распознавания эмоций человека по фотографиям лица // Интеллектуальный потенциал Сибири. 2021. С. 179–182.Khnyunin M.V., Ganelina N.D. Intellektual'nyy potentsial Sibiri (RNSK-2021) (Intellectual Potential of Siberia (RNSC-2021)), Collection of scientific papers of the 29<sup>th</sup> Regional Scientific Student Conference, Novosibirsk, 2021, vol. 3, рр. 179–182. (in Russ.)Артемьева Ж. Г., Крушная Н. А. Распознавание эмоций у других людей детьми с нарушениями опорно-двигательного аппарата // Человеческий фактор: социальный психолог. 2020. № 1 (39). С. 288–294.Artemyeva Zh.G., Krushnaya N.A. Human factor: social psychologist, 2020, no. 1(39), pp. 288–294. (in Russ.)Abadi M. K., Zeng Z. Emotion recognition from speech using deep learning // Proc. of the Interspeech. 2017. P. 2362–2366.Abadi M.K. & Zeng Z. Proceedings of the INTERSPEECH, 2017, pp. 2362–2366.Семенюк В. В. Повышение качества компьютерного распознавания эмоционального состояния человека по голосу // Науч.-практ. конф. „Научные революции: Сущность и роль в развитии науки и техники“ : Сб. докл. Челябинск: НИЦ „АЭТЕРНА“, 2021.Semenyuk V.V. Nauchnyye revolyutsii: Sushchnost' i rol' v razvitii nauki i tekhniki (Scientific Revolutions: Essence and Role in the Development of Science and Technology), Scientific and practical conference, Chelyabinsk, 2021,142 р. (in Russ.)

The authors declare that there are no conflicts of interest present.