priborИзвестия высших учебных заведений. ПриборостроениеJournal of Instrument Engineering0021-34542500-0381Национальный исследовательский университет ИТМО10.17586/0021-3454-2025-68-11-919-926pribor-425Research ArticleИНФОРМАТИКА И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫINFORMATICS AND INFORMATION PROCESSESАрхитектурные и технологические решения для систем сбора и управления потоками неструктурированных данныхArchitectural and technological solutions to systems for collecting and managing unstructured data flowsКулешовС. В.KuleshovS. V.

Сергей Викторович Кулешов — д-р техн. наук, профессор РАН; СПИИРАН, лаборатория автоматизации научных исследований; главный научный сотрудник

Санкт-Петербург 

Sergey V. Kuleshov — Dr. Sci., Professor of the RAS;  St. Petersburg Institute for Informatics and Automation of the RAS, Laboratory of Scientific Research Automation; Chief Researcher

St. Petersburg 

kuleshov@iias.spb.suЗайцеваА. А.ZaytsevaA. A.

Александра Алексеевна Зайцева — канд. техн. наук, доцент; СПИИРАН, лаборатория автоматизации научных исследований; старший научный сотрудник

Санкт-Петербург 

Alexandra A. Zaytseva — PhD, Associate Professor; St. Petersburg Institute for Informatics and Automation of the RAS, Laboratory of Scientific Research Automation; Senior Researcher

St. Petersburg 

cher@iias.spb.suСанкт-Петербургский Федеральный исследовательский центр Российской академии наукSt. Petersburg Federal Research Center of the RAS2025151220256811919926Copyright © Национальный исследовательский университет ИТМО, 20252025Национальный исследовательский университет ИТМОНациональный исследовательский университет ИТМОhttps://pribor.ifmo.ru/jour/about/submissions#copyrightNoticehttps://pribor.ifmo.ru/jour/article/view/425

Рассмотрена задача обработки больших объемов неструктурированных данных, получаемых из открытых веб-источников, в условиях ограниченных ресурсов хранения и роста доли спам-контента. Цель исследования — разработка архитектурных и технологических решений для эффективного управления потоками неструктурированных данных, включая поддержание актуального состояния ядра документов, релевантных предметной области. Предложены варианты реализации технологий вытесняющего хранения данных и отложенного веб-скрейпинга. Вытесняющее хранение позволяет управлять данными в системах с фиксированным объемом памяти, используя критерии значимости документов: время создания, соответствие предметной области и уровень дублирования. Технология отложенного скрейпинга предназначена для обогащения данных путем дополнения и уточнения информации из открытых источников без создания пиковой нагрузки на внешние ресурсы. Предложен вариант решения задачи поддержания в актуальном состоянии ядра документов, релевантных состоянию предметной области. Предложена архитектура системы вытесняющего хранения и отложенного скрейпинга, которая позволяет эффективно управлять данными при экспоненциальном росте контента. Полученные результаты могут применяться для совершенствования методов обработки агрегированного и синтетического контента, получаемого из открытых источников.

The problem of processing large amounts of unstructured data obtained from open web sources in conditions of limited storage resources and a growing proportion of spam content is considered. The aim of the research is to develop architectural and technological solutions for effective management of unstructured data flows, including maintaining the current state of the core of domain-specific documents. Options for implementing technologies for proactive data storage and deferred web scanning are offered. Preferential storage allows you to manage data in systems with a fixed amount of memory, using criteria for the importance of documents: creation time, compliance with the subject area and the level of duplication. Deferred analysis technology is designed to enrich data by supplementing and clarifying information from open sources without creating a peak load on external resources. A solution to the problem of maintaining an up-todate core of documents related to the state of the subject area is proposed. The architecture of a proactive storage and deferred web scraping system is proposed, which allows efficient data management with exponential content growth. The results obtained can be used to improve the methods of processing aggregated and synthetic content obtained from open sources.

интернет-документыискусственные нейронные сетиинтернет-ресурсытехнологии искусственного интеллектаобогащение данныхвеб-скрейпингInternet documentsartificial neural networkslarge language modelInternet resourcesartificial intelligence methodsdata enrichmentweb scrapingработа поддержана Государственным заданием на 2025 г. № FFZF-2025-0003.The work was supported by the State Assignment for 2025 No. FFZF-2025-0003.References[Электронный ресурс]: <https://www.gazeta.ru/tech/news/2024/03/06/22489231.shtml>. (дата обращения: 23.05.2025)https://www.gazeta.ru/tech/news/2024/03/06/22489231.shtml. (in Russ.)[Электронный ресурс]: <https://blog.google/products/search/google-search-update-march-2024/>. (дата обращения: 23.05.2025)https://blog.google/products/search/google-search-update-march-2024/.Tao F. et al. Doc2cube: Allocating documents to text cube without labeled data // 2018 IEEE Intern. Conf. on Data Mining (ICDM). IEEE, 2018. P. 1260–1265.Tao F. et al. 2018 IEEE International Conference on Data Mining (ICDM), 2018, рр. 1260–1265.Agichtein E., Gravano L. Snowball: Extracting relations from large plain-text collections // Proc. of the 5th ACM Conf. on Digital libraries. 2000. P. 85–94.Agichtein E., Gravano L. Proceedings of the 5th ACM Conference on Digital libraries, 2000, рр. 85–94.Kuleshov S., Zaytseva A., Aksenov A. Natural Language Search and Associative-Ontology Matching Algorithms Based on Graph Representation of Texts // Intelligent Systems Applications in Software Engineering. Advances in Intelligent Systems and Computing. Springer, Cham, 2019. Vol. 1046. Р. 285–294. DOI 10.1007/978-3-030-30329-7_26.Kuleshov S., Zaytseva A., Aksenov A. Intelligent Systems Applications in Software Engineering. Advances in Intelligent Systems and Computing, Springer, Cham, 2019, vol. 1046, рр. 285–294, DOI 10.1007/978-3-030-30329-7_26.Отчет о НИР „Разработка теоретических и технологических основ анализа неструктурированных данных и многомодального взаимодействия пользователей, интеллектуальной поддержки целенаправленного коллективного поведения участников в человеко-машинных сообществах (промежуточный, 2 этап)“, шифр FFZF-2022- 0005, номер госрегистрации 224021200089-4.Razrabotka teoreticheskikh i tekhnologicheskikh osnov analiza nestrukturirovannykh dannykh i mnogomodal’nogo vzaimodeystviya pol’zovateley, intellektual’noy podderzhki tselenapravlennogo kollektivnogo povedeniya uchastnikov v cheloveko-mashinnykh soobshchestvakh (promezhutochnyy, 2 etap) (Development of Theoretical and Technological Foundations for the Analysis of Unstructured Data and Multimodal User Interaction, Intelligent Support for Targeted Collective Behavior of Participants in Human-Machine Communities (Intermediate, Stage 2)), Research Report, Code FFZF-2022-0005, State Registration Number 224021200089-4. (in Russ.)Кулешов С. В. Технологии управления потоками неструктурированных данных при анализе макросистем // Матер. XV Всерос. науч.-практ. конф. „Методологические проблемы управления макросистемами“. Апатиты, 01–04 апреля 2024.Kuleshov S.V. Metodologicheskiye problemy upravleniya makrosistemami (Methodological Problems of Macrosystems Management), Proceedings of the XV All-Russian Scientific and Practical Conference, Apatity, April 1–4, 2024. (in Russ.)Кулешов С. В., Зайцева А. А. Феноменологическое описание процессов сбора и обработки интернет-документов // Изв. вузов. Приборостроение. 2023. Т. 66, № 12. С. 1002–1010. DOI: 10.17586/0021-3454-2023-66-12-1002-1010.Kuleshov S.V., Zaitseva A.A. Journal of Instrument Engineering, 2023, no. 12(66), pp. 1002–1010, DOI: 10.17586/0021-3454-2023-66-12-1002-1010. (in Russ.)Кулешов С. В., Зайцева А. А., Аксенов А. Ю. Формирование ядра документов в системах интернет-мониторинга в условиях ресурсных ограничений // Изв. вузов. Приборостроение. 2022. Т. 65, № 11. С. 826–832. DOI: 10.17586/0021-3454-2022-65-11-826-832.Kuleshov S.V., Zaitseva A.A., Aksenov A.Yu. Journal of Instrument Engineering, 2022, no. 11(65), pp. 826–832, DOI: 10.17586/0021-3454-2022-65-11-826-832. (in Russ.)Александров В. В., Кулешов С. В. Аналитический мониторинг Internet контента. Инфологический подход // Качество. Инновации. Образование. 2008. № 3(34). С. 68–70.Aleksandrov V.V., Kuleshov S.V. Kachestvo. Innovatsii. Obrazovaniye, 2008, no. 3(34), pp. 68–70. (in Russ.)Тришин И. Г. База данных в исследовании истории усадеб Подмосковья: наполнение, обогащение и аналитика // Исторический журнал: научные исследования. 2023. № 3. С. 29–39. DOI 10.7256/2454-0609.2023.3.39859.Trishin I.G. Istoricheskiy zhurnal: nauchnyye issledovaniya, 2023, no. 3, pp. 29–39, DOI 10.7256/2454-0609.2023.3.39859. (in Russ.)Апанович З. В., Марчук А. Г. Проблемы использования данных из облака LOD для обогащения контента научных баз данных и знаний // Электронные библиотеки: перспективные методы и технологии, электронные коллекции: Тр. XV Всерос. науч. конф. RCDL’2013. Ярославль, 14–17 октября 2013 года. Ярославль: ЯрГУ им. П. Г. Демидова, 2013. С. 300–305.Apanovich Z.V., Marchuk A.G. Elektronnyye biblioteki: perspektivnyye metody i tekhnologii, elektronnyye kollektsii (Electronic Libraries: Promising Methods and Technologies, Electronic Collections), Proceedings of the XV All-Russian Scientific Conference RCDL’2013, Yaroslavl, October 14–17, 2013, рр. 300–305. (in Russ.)Chen H. et al. Hierarchy-aware label semantics matching network for hierarchical text classification // Proc. of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th Intern. Joint Conf. on Natural Language Processing (Vol. 1. Long Papers). 2021. P. 4370–4379.Chen H. et al. Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (vol. 1. Long Papers), 2021, рр. 4370–4379.Dumais S., Chen H. Hierarchical classification of web content // Proc. of the 23rd Ann. Intern. ACM SIGIR Conf. on Research and Development in Information Retrieval. 2000. P. 256–263.Dumais S., Chen H. Proceedings of the 23rd Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, 2000, рр. 256–263.

The authors declare that there are no conflicts of interest present.