priborИзвестия высших учебных заведений. ПриборостроениеJournal of Instrument Engineering0021-34542500-0381Национальный исследовательский университет ИТМО10.17586/0021-3454-2025-68-12-1011-1019pribor-436Research ArticleИНФОРМАТИКА И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫINFORMATICS AND INFORMATION PROCESSESМногомодальный корпус данных взаимодействия участников виртуальной коммуникации ENERGIENERGI: a multimodal data corpus of interaction of participants in virtual communicationДвойниковаА. А.DvoynikovaA. A.

Анастасия Александровна Двойникова - лаборатория речевых и многомодальных интерфейсов, младший научный сотрудник

Санкт-Петербург

Anastasia A. Dvoynikova — St. Petersburg Institute for Informatics and Automation of the RAS, Laboratory of Speech and Multimodal Interfaces, Junior Researcher

St. Petersburg

dvoynikova.a@iias.spb.suВеличкоА. Н.VelichkoA. N.

Алёна Николаевна Величко — канд. техн. наук, лаборатория речевых и многомодальных интерфейсов; старший научный сотрудник

Санкт-Петербург

lena N. Velichko — PhD; St. Petersburg Institute for Informatics and Automation of the RAS, Laboratory of Speech and Multimodal Interfaces; Senior Researcher

St. Petersburg

velichko.a@iias.spb.suКарповА. А.KarpovA. A.

Алексей Анатольевич Карпов — д-р техн. наук, профессор; лаборатория речевых и многомодальных интерфейсов; руководитель лаборатории

Санкт-Петербург

Alexey A. Karpov — Dr. Sci., Professor; St. Petersburg Institute for Informatics and Automation of the RAS, Laboratory of Speech and Multimodal Interfaces; Head of the Laboratory

St. Petersburg

karpov@iias.spb.suСанкт-Петербургский Федеральный исследовательский центр Российской академии наукSt. Petersburg Federal Research Center of the RAS202519012026681210111019Copyright © Национальный исследовательский университет ИТМО, 20262026Национальный исследовательский университет ИТМОНациональный исследовательский университет ИТМОhttps://pribor.ifmo.ru/jour/about/submissions#copyrightNoticehttps://pribor.ifmo.ru/jour/article/view/436

Выполнен статистический анализ многомодального корпуса данных ENERGI (ENgagement and Emotion Russian Gathering Interlocutors), содержащего аудиовидеозаписи коммуникации на русском языке группы людей, полученные с использованием системы телеконференций Zoom. Данные корпуса размечены по трем классам: вовлеченности (высокий, средний, низкий) участников в разговор, эмоционального возбуждения (высокий, средний, низкий) и валентности эмоций (положительный, нейтральный, негативный), а также десяти классам коммуникативных жестов. Корпус содержит 6,4 часов видеозаписей групповых коммуникаций участников, всего 18 уникальных дикторов; разметка данных выполнена на 10-секундных временных интервалах. Преимущества ENERGI относительно других корпусов заключаются в многомодальности, русскоязычности, разнообразии дикторов, естественных условиях записи данных и расширенной аннотации по нескольким параметрам поведения участников коммуникации. Корпус может быть использован для разработки многомодальной автоматической системы анализа поведенческих аспектов участников групповой виртуальной коммуникации.

A statistical analysis of the multimodal ENERGI (ENgagement and Emotion Russian Gathering Interlocutors) data corpus containing audio-video recordings of communication in Russian by a group of people obtained using the Zoom teleconference system has been performed. The corpus data is annotated into three classes: participant engagement (high, medium, low), emotional arousal (high, medium, low), and emotional valence (positive, neutral, negative), as well as ten classes of communicative gestures. The corpus contains 6.4 hours of video recordings of group communications, with a total of 18 unique speakers; the data is annotated using 10-second time intervals. ENERGI’s advantages over other corpora include its multimodality, Russian language support, speaker diversity, natural recording conditions, and extensive annotation across several behavioral parameters of communication participants. The corpus can be used to develop a multimodal automated system for analyzing the behavioral aspects of participants in virtual group communications.

корпус данныхвовлеченность участниковэмоциональное возбуждениевалентность эмоцийкоммуникативные жестыdata corpusengagement of participantsemotional arousalvalence of emotionscommunicative gesturesРабота выполнена в рамках бюджетной темы СПб ФИЦ РАН № FFZF-2025-0003.The work was carried out within the framework of the budget theme of the St. Petersburg Federal Research Center of the RAS, No. FFZF-2025-0003.ReferencesУздяев М. Ю., Карпов А. А. Создание и анализ многомодального корпуса данных для автоматического распознавания агрессивного поведения людей // Научно-технический вестник информационных технологий, механики и оптики. 2024. Т. 24, № 5. С. 834–842.Uzdiaev M.Yu., Karpov A.A. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2024, no. 5(24), pp. 834–842. (in Russ.)Gupta A., Balasubramanian V. Daisee: Towards user engagement recognition in the wild // arXiv preprint arXiv:1609.01885. 2016.Gupta A., Balasubramanian V. arXiv preprint, arXiv:1609.01885, 2016.Ben-Youssef A., Clavel C., Essid S. et al. UE-HRI: a new dataset for the study of user engagement in spontaneous human-robot interactions // Proc. of the 19th ACM Intern. Conf. on Multimodal Interaction (ICMI). 2017. P. 464–472. DOI: 10.1145/3136755.3136814.Ben-Youssef A., Clavel C., Essid S. et al. Proceedings of the 19th ACM International Conference on Multimodal Interaction (ICMI), 2017, рр. 464–472, DOI: 10.1145/3136755.3136814.Del Duchetto F., Baxter P., Hanheide M. Are you still with me? Continuous engagement assessment from a robot’s point of view // Frontiers in Robotics and AI. 2020. Vol. 7. DOI: 10.3389/frobt.2020.00116.Del Duchetto F., Baxter P., Hanheide M. Frontiers in Robotics and AI, 2020, vol. 7, DOI: 10.3389/frobt.2020.00116.Kaur A., Mustafa A., Mehta L., Dhall A. Prediction and localization of student engagement in the wild // 2018 Digital Image Computing: Techniques and Applications (DICTA). 2018. P. 1–8. DOI: 10.1109/DICTA.2018.8615851.Kaur A., Mustafa A., Mehta L., Dhall A. 2018 Digital Image Computing: Techniques and Applications (DICTA), 2018, рр. 1–8, DOI: 10.1109/DICTA.2018.8615851.Delgado K., Origgi J. M., Hasanpoor T. et al. Student engagement dataset // Proc. of the IEEE/CVF Intern. Conf. on Computer Vision. 2021. P. 3628–3636.Delgado K., Origgi J.M., Hasanpoor T. et al. Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, рр. 3628–3636.Чураев Е. Н. Персонализированные модели распознавания психоэмоционального состояния и вовлеченности лиц по видео: автореф. дис. … канд. тех. наук. СПб, 2025. 134 с.Churaev E.N. Personalizirovannyye modeli raspoznavaniya psikhoemotsional’nogo sostoyaniya i vovlechonnosti lits po video (Personalized Models for Recognizing Psycho-Emotional State and Facial Engagement from Video), Candidate’s thesis, St. Petersburg, 2025, 134 р. (in Russ.)Karimah S. N., Hasegawa S. Automatic engagement estimation in smart education/learning settings: a systematic review of engagement definitions, datasets, and methods // Smart Learning Environments. 2022. Vol. 9, N 1. P. 31. DOI: 10.1186/s40561-022-00212-y.Karimah S.N., Hasegawa S. Smart Learning Environments, 2022, no. 1(9), pp. 31, DOI: 10.1186/s40561-022-00212-y.Celiktutan O., Skordos E., Gunes H. Multimodal human-human-robot interactions (mhhri) dataset for studying personality and engagement // IEEE Transactions on Affective Computing. 2017. Vol. 10, N 4. P. 484–497. DOI: 10.1109/TAFFC.2017.2737019.Celiktutan O., Skordos E., Gunes H. IEEE Transactions on Affective Computing, 2017, no. 4(10), pp. 484–497, DOI: 10.1109/TAFFC.2017.2737019.Pabba C., Kumar P. An intelligent system for monitoring students’ engagement in large classroom teaching through facial expression recognition // Expert Systems. 2022. Vol. 39, N 1. P. e12839. DOI: 10.1111/exsy.12839.Pabba C., Kumar P. Expert Systems, 2022, no. 1(39), pp. e12839, DOI: 10.1111/exsy.12839.Chatterjee I., Goršič M., Clapp J. D., Novak D. Automatic estimation of interpersonal engagement during naturalistic conversation using dyadic physiological measurements // Frontiers in Neuroscience. 2021. Vol. 15. P. 757381. DOI: 10.3389/fnins.2021.757381.Chatterjee I., Goršič M., Clapp J. D., Novak D. Frontiers in Neuroscience, 2021, vol. 15, рр. 757381, DOI: 10.3389/fnins.2021.757381.Sümer Ö., Goldberg P., D Mello S. et al. Multimodal engagement analysis from facial videos in the classroom // IEEE Transactions on Affective Computing. 2021. Vol. 14, N 2. P. 1012–1027. DOI: 10.1109/TAFFC.2021.3127692.Sümer Ö., Goldberg P., D’Mello S. et al. IEEE Transactions on Affective Computing, 2021, no. 2(14), pp. 1012–1027, DOI: 10.1109/TAFFC.2021.3127692.Vanneste P., Oramas J., Verelst T. et al. Computer vision and human behaviour, emotion and cognition detection: A use case on student engagement // Mathematics. 2021. Vol. 9, N 3. P. 287. DOI: 10.3390/math9030287.Vanneste P., Oramas J., Verelst T. et al. Mathematics, 2021, no. 3(9), pp. 287, DOI: 10.3390/math9030287.Dresvyanskiy D., Sinha Y., Busch M. et al. DyCoDa: A multi-modal data collection of multi-user remote survival game recordings // Speech and Computer. SPECOM 2022. Lecture Notes in Computer Science. 2022. P. 163–177. DOI: 10.1007/978-3-031-20980-2_15.Dresvyanskiy D., Sinha Y., Busch M. et al. Speech and Computer. SPECOM 2022. Lecture Notes in Computer Science, 2022, рр. 163–177, DOI: 10.1007/978-3-031-20980-2_15.Cafaro A., Wagner J., Baur T. et al. The NoXi database: multimodal recordings of mediated novice-expert interactions // Proc. of the ICMI. 2017. P. 350–359. DOI: 10.1145/3136755.3136780.Cafaro A., Wagner J., Baur T. et al. Proceedings of the ICMI, 2017, рр. 350–359, DOI: 10.1145/3136755.3136780.Busso C., Bulut M., Lee C. C. et al. IEMOCAP: Interactive emotional dyadic motion capture database // Language resources and evaluation. 2008. Vol. 42, N 4. P. 335–359. DOI: 10.1007/s10579-008-9076-6.Busso C., Bulut M., Lee C.C. et al. Language resources and evaluation, 2008, no. 4(42), pp. 335–359, DOI: 10.1007/s10579-008-9076-6.Ringeval F., Sonderegger A., Sauer J., Lalanne D. Introducing the RECOLA multimodal corpus of remote collaborative and affective interactions // 10th IEEE Intern. Conf. and Workshops on Automatic Face and Gesture Recognition (FG). 2013. P. 1–8. DOI: 10.1109/FG.2013.6553805.Ringeval F., Sonderegger A., Sauer J., Lalanne D. 2013 10th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG), 2013, рр. 1–8, DOI: 10.1109/FG.2013.6553805.Kossaifi J., Walecki R., Panagakis Y. et al. Sewa db: A rich database for audio-visual emotion and sentiment research in the wild // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2019. Vol. 43, N 3. P. 1022–1040. DOI: 10.1109/TPAMI.2019.2944808.Kossaifi J., Walecki R., Panagakis Y. et al. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, no. 3(43), pp. 1022–1040. DOI: 10.1109/TPAMI.2019.2944808.Двойникова А. А. Аналитический обзор многомодальных корпусов данных для распознавания эмоций // Альманах научных работ молодых ученых Университета ИТМО. 2023. Т. 1. С. 251–256.Dvoynikova A.A. Almanac of scientific works of young scientists of ITMO University, 2023, vol. 1, рр. 251–256. (in Russ.)Свид. о рег. № 2023624954. База данных проявлений вовлеченности и эмоций русскоязычных участников телеконференций (ENERGI — ENgagement and Emotion Russian Gathering Interlocutors), А. А. Карпов, А. А. Двойникова. 03.11.2023.Certificate of registration of the database 2023624954, Baza dannykh proyavleniy vovlechennosti i emotsiy russkoyazychnykh uchastnikov telekonferentsiy (ENERGI — ENgagement and Emotion Russian Gathering Interlocutors) (Database of Manifestations of Engagement and Emotions of Russian-Speaking Participants in Teleconferences (ENERGI - ENgagement and Emotion Russian Gathering Interlocutors)), A.A. Dvoynikova, A.A. Karpov, Priority 25.12.2023. (in Russ.)Двойникова А. А., Карпов А. А. Методика создания многомодальных корпусов данных для аудиовизуального анализа вовлеченности и эмоций участников виртуальной коммуникации // Изв. вузов. Приборостроение. 2024. Т. 67, № 11. С. 984–993. DOI: 10.17586/0021-3454-2024-67-11-984-993.Dvoynikova A.A., Karpov A.A. Journal of Instrument Engineering, 2024, no. 11(67), pp. 984–993, DOI: 10.17586/0021-3454-2024-67-11-984-993. (in Russ.)Sloetjes H., Wittenburg P. Annotation by category-ELAN and ISO DCR // Proc. of the 6th Intern. Conf. on Language Resources and Evaluation (LREC 2008). 2008.Sloetjes H., Wittenburg P. Proceedings of the 6th International Conference on Language Resources and Evaluation (LREC 2008), 2008.Люсин Д. В. Новая методика для измерения эмоционального интеллекта: опросник ЭмИн // Психологическая диагностика. 2006. Т. 4. С. 3–22.Lyusin D.V. Psychological diagnostics, 2006, vol. 4, рр. 3–22. (in Russ.)

The authors declare that there are no conflicts of interest present.