priborИзвестия высших учебных заведений. ПриборостроениеJournal of Instrument Engineering0021-34542500-0381Национальный исследовательский университет ИТМО10.17586/0021-3454-2024-67-9-767-775pribor-69Research ArticleСИСТЕМНЫЙ АНАЛИЗ, УПРАВЛЕНИЕ И ОБРАБОТКА ИНФОРМАЦИИSYSTEM ANALYSIS, MANAGEMENT AND INFORMATION PROCESSINGРаспознавание рукописного текста исторических документов с применением технологий глубоких нейронных сетейText Recognition of Historical Documents Using Deep Neural Network TechnologiesУнтербергА. М.UnterbergA. M.

Александр Максимович Унтерберг, студент

Институт космических и информационных технологий,;кафедра систем искусственного интеллекта

Красноярск

Aleksander M. Unterberg, Student

Institute of Space and Information Technologies; Department of Artificial Intelligence Systems

Krasnoyarsk

unterberg2012@gmail.comПятаеваА. В.PyataevaA. V.

Анна Владимировна Пятаева, канд. техн. наук, доцент, руководитель лаборатории

Институт космических и информационных технологий; кафедра систем искусственного интеллекта; научно-учебная лаборатория системискусственного интеллекта

Красноярск

Anna V. Pyataeva, PhD, Associate Professor, Head of the laboratory

Institute of Space and Information Technologies; Department of Artificial Intelligence Systems; scientific and educational laboratory of artificial intelligence systems

Krasnoyarsk

anna4u@list.ruЗамысловаС. С.ZamyslovaS. S.

Светлана Сергеевна Замыслова, студентка

Институт космических и информационных технологий; кафедра систем искусственного интеллекта

Красноярск

Svetlana S. Zamyslova, Student

Institute of Space and Information Technologies; Department of Artificial Intelligence Systems

Krasnoyarsk

zamyslova_svetlana_17-05@mail.ruРукосуеваЕ. Д.RukosuevaE. D.

Екатерина Дмитриевна Рукосуева, студентка

Институт космических и информационных технологий; кафедра систем искусственного интеллекта

Красноярск

Ekaterina D. Rukosueva, Student

Institute of Space and Information Technologies; Department of Artificial Intelligence Systems

Krasnoyarsk

rukosuevakatya@gmail.comБогдановК. В.BogdanovK. V.

Константин Валерьевич Богданов, канд. техн. наук, доцент

Институт космических и информационных технологий; кафедра программной инженерии

Красноярск

Konstantin V. Bogdanov, PhD, Associate Professor

Institute of Space and Information Technologies; Department of Software Engineering

Krasnoyarsk

kbogdanov@sfu-kras.ruСибирский федеральный университетРоссияSiberian Federal UniversityRussian Federation202426112024679767775Copyright © Национальный исследовательский университет ИТМО, 20242024Национальный исследовательский университет ИТМОНациональный исследовательский университет ИТМОhttps://pribor.ifmo.ru/jour/about/submissions#copyrightNoticehttps://pribor.ifmo.ru/jour/article/view/69

   Рассматривается задача распознавания рукописного текста на дореформенном русском языке с применением технологий глубоких нейронных сетей. В качестве исходных данных использованы отсканированные JPG-снимки исторических документов, в частности XIX века, содержащие различные шумы и помехи, что затрудняет работу алгоритма распознавания. Распознавание текста выполнено в три этапа: устранение шумов, сегментация (выделение) строк текста на изображении, так как входными данными для работы глубокой нейронной сети являются именно строки, и затем распознавание текста выделенных срок с помощью дообученной модели Tesseract OCR, осуществляющей электронный перевод изображений рукописного или печатного текста в текстовые данные. В качестве модели использована сверточно-рекуррентная нейронная сеть; модель представляет собой комбинацию сверточной нейронной сети для извлечения локальных признаков из изображения и рекуррентной нейронной сети, представленной двумя слоями двунаправленных сетей LSTM для обработки последовательности. Использование именно такой модели позволяет достоверно распознавать рукописный текст.

   The application of deep neural network technologies to the problem of handwriting recognition in pre-reform Russian is considered. The initial data used are scanned JPG images of historical documents from the 19th century, in particular containing various noises and interference, which complicates the work of the recognition algorithm. Text recognition is performed in three stages: noise removal, segmentation (highlighting) of text lines in the image, since the input data for the deep neural network are precisely the lines, and then recognition of the text of the highlighted lines using the pre-trained Tesseract OCR model, which performs electronic translation of images of handwritten or printed text into text data. The model used is a convolutional recurrent neural network; the model is a combination of a convolutional neural network for extracting local features from an image and a recurrent neural network represented by two layers of bidirectional LSTM networks for processing the sequence. Using this model allows for reliable recognition of handwritten text.

нейронные сетиобработка естественного языкаисторические документыглубокое обучениебиблиотека Tesseract OCRneural networksnatural language processinghistorical documentsdeep learningTesseract — OCR LibraryReferencesCarbonell M., Fornés A., Villegas M., Lladós J. A neural model for text localization, transcription and named entity recognition in full pages // Pattern Recognition Letters. 2020. Vol. 136. P. 219–227. DOI: 10.1016/j.patrec.2020.05.001.Carbonell M., Fornés A., Villegas M., Lladós J. Pattern Recognition Letters, 2020, vol. 136, рр. 219–227, DOI: 10.1016/j.patrec.2020.05.001.Mestha P., Asif S., Mayekar M. Handwritten Text Line Recognition Using Deep Learning // Lecture Notes in Networks and Systems. 2022. P. 567–580. DOI: 10.1007/978-3-030-84760-9_48.Mestha P., Asif S., Mayekar M. Lecture Notes in Networks and Systems, 2022, рр. 567–580, DOI: 10.1007/978-3-030-84760-9_48.Souibgui M. A., Fornes A., Kessentini Y., Megyesi B. Few shots are all you need: A progressive learning approach for low resource handwritten text recognition // Pattern Recognition Letters. 2022. Vol. 160. P. 43–49. DOI: 10.1016/j.patrec.2022.06.003.Souibgui M.A., Fornes A., Kessentini Y., Megyesi B. Pattern Recognition Letters, 2022, vol. 160, рр. 43–49, DOI: 10.1016/j.patrec.2022.06.003.Kang L., Riba P., Rusinol M., Fornes A., Villegas M. Pay attention to what you read: Non-recurrent handwritten text-Line recognition //Pattern Recognition. 2022. Vol. 129. P. 108766. DOI: 10.1016/j.patcog.2022.108766.Kang L., Riba P., Rusinol M., Fornes A., Villegas M. Pattern Recognition, 2022, vol. 129, art. no. 108766, DOI: 10.1016/j.patcog.2022.108766.Gonwirat S., Surinta O. CycleAugment: Efficient data augmentation strategy for handwritten text recognition in historical document images // Engineering and Applied Science Research. 2022. Vol. 49, N. 4 P. 505–520. DOI: 10.14456/easr.2022.50.Gonwirat S., Surinta O. Engineering and Applied Science Research, 2022, no. 4(49), pp. рр. 505–520, DOI: 10.14456/easr.2022.50.Aradillas J., Murillo-Fuentes J., Olmos P. Boosting Offline Handwritten Text Recognition in Historical Documents with Few Labeled Lines // IEEE Access. 2021. Vol. 9. P. 76674–76688. DOI: 10.1109/ACCESS.2021.3082689.Aradillas J., Murillo-Fuentes J., Olmos P. IEEE Access, 2021, vol. 9, рр. 76674–76688, DOI: 10.1109/ACCESS.2021.3082689.Im C., Kim Y., Mandl T. Deep learning for historical books: classification of printing technology for digitized images // Multimedia Tools and Applications. 2022. Vol. 81. P. 5867–5888. DOI: 10.1007/s11042-021-11754-7.Im C., Kim Y., Mandl T. Multimedia Tools and Applications, 2022, vol. 81, рр. 5867–5888, DOI: 10.1007/s11042-021-11754-7.Jiju A., Tuscano S., Badgujar C. OCR Text Extraction // Intern. Journal of Engineering and Management Research. 2021. Vol. 11. P. 83–86. DOI:10.31033/ijemr.11.2.11.Jiju A., Tuscano Sh., Badgujar Ch. International Journal of Engineering and Management Research, 2021, no. 2(11), pp. 83–86, DOI:10.31033/ijemr.11.2.11.Lombardi F., Marinai S. Deep Learning for Historical Document Analysis and Recognition — A Survey // Journal of Imaging. 2020. Vol. 6, N. 10. P. 110 DOI: 10.3390/jimaging6100110.Lombardi F., Marinai S. Journal of Imaging, 2020, no. 6(10), pp. 110, DOI: 10.3390/jimaging6100110.Sporici D., Cusnir E., Boiangiu C. Improving the accuracy of Tesseract 4.0 OCR engine using convolution-based preprocessing // Symmetry. 2020. Vol. 12, N. 5. P. 715. DOI: 10.3390/sym12050715.Sporici D., Cusnir E., Boiangiu C. Symmetry, 2020, no. 5(12), pp. 715, DOI: 10.3390/sym12050715.Pyataeva A. V., Genza S. A. Artificial neural network technology for text recognition // CEUR Workshop Proc. 2019. Vol. 2534. P. 248–252.Pyataeva A.V., Genza S.A. CEUR Workshop Proceedings, 2019, vol. 2534, рр. 248–252.

The authors declare that there are no conflicts of interest present.