priborИзвестия высших учебных заведений. ПриборостроениеJournal of Instrument Engineering0021-34542500-0381Национальный исследовательский университет ИТМО10.17586/0021-3454-2022-65-11-842-850pribor-307Research ArticleМАТЕМАТИЧЕСКОЕ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ИНФОРМАЦИОННЫХ СИСТЕМMATHEMATICAL AND SOFTWARE SUPPORT OF INFORMATION SYSTEMSПрименение методов синтеза обучающих данных для распознавания частично скрытых лиц на изображенияхApplication of training data synthesis methods for recognition of partially hidden faces in imagesЛетенковМ. А.LetenkovM. A.

Максим Андреевич Летенков — лаборатория технологий больших данных социокиберфизических систем; мл. научный сотрудник

Санкт-Петербург

Maхim A. Letenkov — St. Petersburg Institute for Informatics and Automation of the RAS, Laboratory of Big Data Technologies in Socio-Cyberphysical Systems; Junior Researcher

St. Petersburg

letenkovmaksim@yandex.ruЯковлевР. Н.IakovlevR. N.

Роман Никитич Яковлев — лаборатория технологий больших данных социокиберфизических систем; мл. научный сотрудник

Санкт-Петербург

Roman N. Iakovlev — St. Petersburg Institute for Informatics and Automation of the RAS, Laboratory of Big Data Technologies in Socio-Cyberphysical Systems; Junior Researcher

St. Petersburg

iakovlev.r@mail.ruМаркитантовМ. В.MarkitantovM. V.

Максим Викторович Маркитантов — лаборатория речевых и многомодальных интерфейсов; мл. научный сотрудник

Санкт-Петербург

Maxim V. Markitantov — St. Petersburg Institute for Informatics and Automation of the RAS, Speech and Multimodal Interfaces Laboratory; Junior Researcher

St. Petersburg

m.markitantov@yandex.ruРюминД. А.RyuminD. A.

Дмитрий Александрович Рюмин — канд. техн. наук; лаборатория речевых и многомодальных интерфейсов; ст. научный сотрудник

Санкт-Петербург

Dmitry A. Ryumin — PhD; St. Petersburg Institute for Informatics and Automation of the RAS, Speech and Multimodal Interfaces Laboratory; Senior Researcher

St. Petersburg

ryumin.d@iias.spb.suКарповА. А.KarpovA. A.

Алексей Анатольевич Карпов — д-р техн. наук, доцент; лаборатория речевых и многомодальных интерфейсов; гл. научный сотрудник

Санкт-Петербург

Alexey A. Karpov — Dr. Sci., Associate Professor; St. Petersburg Institute for Informatics and Automation of the RAS, Speech and Multimodal Interfaces Laboratory; Chief Researcher

St. Petersburg

karpov@iias.spb.suСанкт-Петербургский федеральный исследовательский центр Российской академии наукSt. Petersburg Federal Research Center of the RAS2022031220246511842850Copyright © Национальный исследовательский университет ИТМО, 20242024Национальный исследовательский университет ИТМОНациональный исследовательский университет ИТМОhttps://pribor.ifmo.ru/jour/about/submissions#copyrightNoticehttps://pribor.ifmo.ru/jour/article/view/307

Для решения проблемы автоматического распознавания лиц людей, использующих такие средства индивидуальной защиты, как медицинская маска, предложен и апробирован новый подход, основанный на применении методов генерации синтетических изображений частично скрытых лиц и модели распознавания лиц ArcFace. Предложена стратегия формирования обучающих наборов данных и получен ряд соответствующих моделей распознавания. Проведена серия экспериментов, направленных на оценку качества предсказаний полученного решения, и установлена зависимость между результирующим качеством предсказаний, реализуемых моделями распознавания, и объемом синтетических изображений в обучающих наборах данных. Согласно результатам экспериментальных исследований, нейросетевые модели, дообученные на наборах данных, в которых объем искусственно синтезированных изображений составляет 40—60 %, демонстрируют более высокие значения показателя точности распознавания, выше 87 % по количественной метрике AAc (Averaged Accuracy). Использование предложенного подхода позволяет значительно улучшить качество распознавания частично скрытых лиц по сравнению с базовым подходом.

A new approach to solving the problem of automatic face recognition of people using personal protective equipment such as a medical mask has been proposed and tested. This approach is based on the use of methods of generating synthetic images of partially hidden faces and the face recognition model ArcFace. A strategy for training data sets formation is proposed and a number of corresponding recognition models are derived. A series of experiments aimed at assessing the quality of predictions of the obtained solution are carried out, and a relationship between the resulting quality of predictions implemented by recognition models and the volume of synthetic images in training datasets is established. According to the results of experimental studies, neural network models, further trained on datasets with volume of artificially synthesized images of 40-60%, demonstrate values of recognition accuracy above 87% on the AAc quantitative metric (Average Accuracy). Using the proposed approach makes it possible to significantly improve the quality of recognition of partially hidden faces compared to the basic approach.

распознавание лицнейросетевые модели распознаванияArcFaceBRAVE-MASKSгенерация синтетических изображенийсредства индивидуальной защитыглубокое обучениеface recognitionneural network recognition modelsArcFaceBRAVE-MASKSsynthetic image generationpersonal protective equipmentdeep learningисследование выполнено за счет Российского фонда фундаментальных исследований (проект № 20-04-60529-вирусы), а также частично в рамках ведущей научной школы (грант № НШ-17.2022.1.6)the research was carried out at the expense of the Russian Foundation for Basic Research (project N 20-04-60529-viruses), as well as partially within the framework of a leading scientific school (grant N NS-17.2022.1.6).ReferencesZhang K., Zhang Z., Li Z., Qiao Y. Joint face detection and alignment using multitask cascaded convolutional networks // IEEE Signal Processing Letters. 2016. Vol. 23, N 10. P. 1499—1503. DOI: 10.1109/LSP.2016.2603342.Zhang K., Zhang Z., Li Z., Qiao Y. IEEE Signal Processing Letters, 2016, no. 10(23), pp. 1499–1503, DOI: 10.1109/LSP.2016.2603342.Zhang F., Fan X., Ai G., Song J., Qin Y., Wu J. Accurate face detection for high performance // arXiv preprint arXiv:1905.01585. 2019. P. 1—9.Zhang F., Fan X., Ai G., Song J., Qin Y., Wu J. arXiv preprint arXiv:1905.01585, 2019, рр. 1–9.Schroff F., Kalenichenko D., Philbin J. Facenet: A unified embedding for face recognition and clustering // Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition. 2015. P. 815—823. DOI: 10.1109/CVPR.2015.7298682.Schroff F., Kalenichenko D., Philbin J. Proceedings of the IEEE conference on computer vision and pattern recognition, 2015, рр. 815–823, DOI: 10.1109/CVPR.2015.7298682.Deng J., Guo J., Xue N., Zafeiriou S. Arcface: Additive angular margin loss for deep face recognition // Proc. of the IEEE/CVF Conf. on Computer Vision and Pattern Recognition. 2019. P. 4690—4699.Deng J., Guo J., Xue N., Zafeiriou S. Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2019, рр. 4690–4699.He Y., Xu D., Wu L., Jian M., Xiang S., Pan C. LFFD: A light and fast face detector for edge devices // arXiv preprint arXiv:1904.10633. 2019. P. 1—10. DOI: 10.48550/arXiv.1904.10633.He Y., Xu D., Wu L., Jian M., Xiang S., Pan C. arXiv preprint arXiv:1904.10633, 2019, рр. 1–10, DOI: 10.48550/arXiv.1904.10633.Parkhi O. M., Vedaldi A., Zisserman A. Deep face recognition // British Mashine Vision Conf.: Proc. 2015. P. 1—12. DOI: 10.5244/C.29.41.Parkhi O. M., Vedaldi A., Zisserman A. Deep face recognition, 2015, рр. 1–12. DOI: 10.5244/C.29.41.Rab S., Javaid M., Haleem A., Vaishya R. Face masks are new normal after COVID-19 pandemic // Diabetes & Metabolic Syndrome: Clinical Research & Reviews. 2020. Vol. 14, N 6. P. 1617—1619.Rab S., Javaid M., Haleem A., Vaishya R. Diabetes & Metabolic Syndrome: Clinical Research & Reviews, 2020, no. 6(14), pp. 1617–1619.Martínez-Díaz Y., Méndez-Vázquez H., Luevano L. S., Nicolás-Díaz M., Chang L., González-Mendoza M. Towards Accurate and Lightweight Masked Face Recognition: an Experimental Evaluation // IEEE Access. 2021. Vol. 10. P. 7341—7353.Martínez-Díaz Y., Méndez-Vázquez H., Luevano L. S., Nicolás-Díaz M., Chang L., González-Mendoza M. IEEE Access., 2021, vol. 10, рр. 7341–7353.Anwar A., Raychowdhury A. Masked face recognition for secure authentication // arXiv preprint arXiv:2008.11104. 2020. P. 1—8.Anwar A., Raychowdhury A. arXiv preprint arXiv:2008.11104, 2020, рр. 1–8.Cao Q., Shen L., Xie W., Parkhi O. M., Zisserman A. Vggface2: A dataset for recognising faces across pose and age // 13th IEEE Intern. Conf. on Automatic Face & Gesture Recognition (FG 2018). 2018. P. 67—74.Cao Q., Shen L., Xie W., Parkhi O.M., Zisserman A. 13th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2018), IEEE, 2018, рр. 67–74.Guo Y., Zhang L., Hu Y., He X., Gao, J. Ms-celeb-1m: A dataset and benchmark for large-scale face recognition // European Conf. on Computer Vision. Cham: Springer, 2016. P. 87—102.Guo Y., Zhang L., Hu Y., He X., Gao J. European conference on computer vision, Springer, Cham, 2016, рр. 87–102.Wang Z., Wang G., Huang B., Xiong Z., Hong Q., Wu H., Liang J. Masked face recognition dataset and application // arXiv preprint arXiv:2003.09093. 2020. P. 1—3.Wang Z., Wang G., Huang B., Xiong Z., Hong Q., Wu H., Liang J. arXiv preprint arXiv:2003.09093, 2020, рр. 1–3.Liu W., Wen Y., Yu Z., Li M., Raj B., Song L. Sphereface: Deep hypersphere embedding for face recognition // Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition. 2017. P. 212—220.Liu W., Wen Y., Yu Z., Li M., Raj B., Song L. Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, рр. 212–220.Wang H., Wang Y., Zhou Z., Ji X., Gong D., Zhou J., Liu W. Cosface: Large margin cosine loss for deep face recognition // Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition. 2018. P. 5265—5274.Wang H., Wang Y., Zhou Z., Ji X., Gong D., Zhou J., Liu W. Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, рр. 5265–5274Szegedy C., Liu W., Jia Y., Sermanet P., Reed S., Anguelov D., Rabinovich A. Going deeper with convolutions // Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition. 2015. P. 1—9.Szegedy C., Liu W., Jia Y., Sermanet P., Reed S., Anguelov D., Rabinovich A. Going deeper with convolutions // Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition. 2015. P. 1—9.Kemelmacher-Shlizerman I. et al. The megaface benchmark: 1 million faces for recognition at scale // Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition. 2016. P. 4873—4882.Kemelmacher-Shlizerman I. et al. The megaface benchmark: 1 million faces for recognition at scale // Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition. 2016. P. 4873—4882.Letenkov M. A., Iakovlev R. N., Markitantov M. V., Ryumin D. A., Saveliev A. I., Karpov A. A. Method for Generating Synthetic Images of Masked Human Faces // Scientific Visualization. 2022. Vol. 14, N 2. P. 1—17. DOI: 10.26583/sv.14.2.01.Letenkov M. A., Iakovlev R. N., Markitantov M. V., Ryumin D. A., Saveliev A. I., Karpov A. A. Method for Generating Synthetic Images of Masked Human Faces // Scientific Visualization. 2022. Vol. 14, N 2. P. 1—17. DOI: 10.26583/sv.14.2.01.InsightFace: 2D and 3D Face Analysis Project [Электронный ресурс]: https://github.com/deepinsight/insightface 08.07.2022.InsightFace: 2D and 3D Face Analysis Project [Электронный ресурс]: https://github.com/deepinsight/insightface 08.07.2022.Markitantov M., Ryumina E., Ryumin D., Karpov A. Biometric Russian Audio-Visual Extended MASKS (BRAVEMASKS) Corpus: Multimodal Mask Type Recognition Task // Proc. of ISCA Intern. Conf. INTERSPEECH-2022. Korea. 2022.Markitantov M., Ryumina E., Ryumin D., Karpov A. Biometric Russian Audio-Visual Extended MASKS (BRAVEMASKS) Corpus: Multimodal Mask Type Recognition Task // Proc. of ISCA Intern. Conf. INTERSPEECH-2022. Korea. 2022.

The authors declare that there are no conflicts of interest present.