priborИзвестия высших учебных заведений. ПриборостроениеJournal of Instrument Engineering0021-34542500-0381Национальный исследовательский университет ИТМО10.17586/0021-3454-2023-66-7-533-538pribor-131Research ArticleИНФОРМАТИКА И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫINFORMATICS AND INFORMATION PROCESSESПрименение методов BIG DATA для предобработки данных из сети INTERMAGNETApplication of BIG DATA methods for INTERMAGNET data preprocessingКоробейниковА. Г.KorobeynikovA. G.

Анатолий Григорьевич Коробейников — д-р техн. наук, профессор; зам. директора по науке

Санкт-Петербург

Anatoly G. Korobeynikov - Dr. Sci., Professor; Deputy Director for Science

St. Petersburg

Korobeynikov_A_G@mail.ruСанкт-Петербургский филиал Института земного магнетизма, ионосферы и распространения радиоволн им. Н. В. Пушкова РАНPushkov Institute of Terrestrial Magnetism, Ionosphere and Radio Wave Propagation of the RAS, St. Petersburg Branch202327112024667533538Copyright © Национальный исследовательский университет ИТМО, 20242024Национальный исследовательский университет ИТМОНациональный исследовательский университет ИТМОhttps://pribor.ifmo.ru/jour/about/submissions#copyrightNoticehttps://pribor.ifmo.ru/jour/article/view/131

Достаточно часто при решении геофизических задач, связанных с магнитным полем Земли, возникает необходимость обработки данных большого объема. Полученная в результате анализа информация может служить основой для решения различных фундаментальных задач, например изучения движения магнитных полюсов, или прикладных задач, например навигации по магнитному полю Земли. Кроме того, во многих случаях представляет интерес анализ данных за продолжительный промежуток времени, что значительно увеличивает объем данных, которые необходимо обработать. Применение современных технологий для работы с большими данными, такой как, например, BIG DATA, позволяет решать достаточной широкий класс геофизических задач. Рассмотрена задача предобработки данных измерений состояния магнитного поля Земли, предоставленных геомагнитной обсерваторией Lycksele (Швеция), входящей в международную сеть INTERMAGNET. Предобработка произведена с помощью методов BIG DATA, реализованных в системе MatLab.  

When solving geophysical problems related to the Earth's magnetic field, quite often there is a need to process large volume data. The information obtained as a result of the analysis can serve as the basis for solving various fundamental problems, for example, studying the movement of the magnetic poles, or applied problems, such as navigating the Earth's magnetic field. In addition, in many cases it is of interest to analyze data over a long period of time, which significantly increases the amount of data that needs to be processed. The use of modern technologies for working with large amounts of data, such as, for example, BIG DATA, allows solving a fairly wide class of geophysical problems. The problem of preprocessing the data of measurements of the state of the Earth's magnetic field provided by geomagnetic observatory Lycksele (Sweden) included in the international network INTERMAGNET. Preprocessing was performed using the BIG DATA methods implemented in the MatLab system. 

BIG DATAINTERMAGNETMatLabвысокие массивыгеомагнитная обсерваториямагнитное поле Землихранилище данныхBIG DATAINTERMAGNETMatLabtall arraygeomagnetic observatoryEarth's magnetic fielddatastoreReferencesKorobeynikov A. G., Grishentsev A. Y., Velichko E. N., Aleksanin S. A., Fedosovskii M. E., Bondarenko I. B., Korikov C. C. Calculation of Regularization Parameter in The Problem of Blur Removal in Digital Image//Optical Memory & Neural Networks (Information Optics). 2016. Vol. 25, N 3. P. 184—91.Korobeynikov A.G., Grishentsev A.Y., Velichko E.N., Aleksanin S.A., Fedosovskii M.E., Bondarenko I.B., Korikov C.C. Optical Memory & Neural Networks (Information Optics), 2016, no. 3(25), pp. 184–191.Дьяконов В. П. MATLAB и Simulink для радиоинженеров. М.: ДМК Пресс, 2016. 976 с.Dyakonov V.P. MATLAB i SIMULINK dlya radioinzhenerov (MATLAB and SIMULINK for radio engineers), Moscow, 2016, 976 р. (in Russ.)Новгородцев А. Б. Расчет электрических цепей в MATLAB: Учеб. курс. СПб: Питер, 2004. 250 с.Novgorodtsev A.B. Raschet elektricheskikh tsepey v MATLAB (Calculation of Electrical Circuits in MATLAB), St. Petersburg, 2004, 250 р. (in Russ.)Матюшкин И. В. Моделирование и визуализация средствами MATLAB физики наноструктур. М.: Техносфера, 2011. 168 с.Matyushkin I.V. Modelirovaniye i vizualizatsiya sredstvami MATLAB fiziki nanostruktur (Modeling and Visualization by Means of MATLAB of the Physics of Nanostructures), Moscow, 2011, 168 р. (in Russ.)Korobeynikov A. G., Fedosovsky M. E., Zharinov I. O., Shukalov A. V., Gurjanov A. V. Development of conceptual modeling method to solve the tasks of computer-aided design of difficult technical complexes on the basis of category theory // Intern. Journal of Applied Engineering Research. 2017. Vol. 12, N 6. P. 1114—1122.Korobeynikov A.G., Fedosovsky M.E., Zharinov I.O., Shukalov A.V., Gurjanov A.V. International Journal of Applied Engineering Research, 2017, no. 6(12), pp. 1114–1122.Гайдук А. Р., Беляев В. Е., Пъявченко Т. А. Теория автоматического управления в примерах и задачах с решениями в MATLAB: Учеб. пособие. СПб: Изд-во „Лань“, 2016. 464 с.Gaiduk A.R., Belyaev V.E., Pyavchenko T.A. Teoriya avtomaticheskogo upravleniya v primerakh i zadachakh s resheniyami v MATLAB (Theory of Automatic Control in Examples and Problems with Solutions in MATLAB), St. Petersburg, 2016, 464 р. (in Russ.)Поршнев С. В. Компьютерное моделирование физических процессов в пакете MATLAB: Учеб. пособие. СПб: Изд-во „Лань“, 2011. 736 с.Porshnev S.V. Komp'yuternoye modelirovaniye fizicheskikh protsessov v pakete MATLAB (Computer Simulation of Physical Processes in the MATLAB Package), St. Petersburg, 2011, 736 р. (in Russ.)Фриск В. В., Ганин В. И., Степанова А. Г. Компьютерный анализ и моделирование электрических цепей постоянного тока в среде MATLAB. М.: Солон-пресс, 2021. 32 с.Frisk V.V., Ganin V.I., Stepanova A.G. Komp'yuternyy analiz i modelirovaniye elektricheskikh tsepey postoyannogo toka v srede MATLAB (Computer Analysis and Modeling of DC Electrical Circuits in the MATLAB Environment), Moscow, 2021, 32 р. (in Russ.)Коробейников А. Г. Применение искусственных нейронных сетей в системах автоматического управления магнитной левитацией // Программные продукты и системы. 2022. Т. 35, № 3. С. 452—457. DOI: 10.15827/0236-235X.139.452-457.Korobeynikov A.G. Software & Systems, 2022, no. 3(35), pp. 452–457, DOI: 10.15827/0236-235X.139.452-457. (in Russ.)Николаева С. Г. Нейронные сети. Реализация в MatLab: Учеб. пособие. Казань: Казан. гос. энерг. ун-т, 2015. 92 с.Nikolayeva S.G. Neyronnyye seti. Realizatsiya v Matlab (Neural networks. Implementation in Matlab), Kazan', 2015, 92 р. (in Russ.)Макшанов А. В., Журавлев А. Е., Тындыкарь Л. Н. Большие данные. Big Data. СПб: Изд-во „Лань“, 2022. 188 с.Makshanov A.V., Zhuravlev A.E., Tyndykar L.N. Bol'shiye dannyye. Big data (Big Data. Big Data), St. Petersburg, 2022, 188 р., ISBN 978-5-8114-9834-5. (in Russ.)Коробейников А. Г. Обработка и анализ данных с российского сегмента мировой сети магнитных обсерваторий ИНТЕРМАГНЕТ // Междунар. журн. гуманитарных и естественных наук. 2018. № 8. С. 91—98.Korobeynikov A.G. International Journal of Humanities and Natural Sciences, 2018, no. 8, pp. 91–98. (in Russ.)Смолин А. А., Жданов Д. Д., Потемин И. С., Меженин А. В., Богатырев В. А. Системы виртуальной, дополненной и смешанной реальности: Учеб. пособие. СПб: Ун-т ИТМО, 2018. 59 с. [Электронный ресурс]: <https://www.elibrary.ru/item.asp?id=46453270>.Smolin A.A., Zhdanov D.D., Potemin I.S., Mezhenin A.V., Bogatyrev V.A. Sistemy virtual'noy, dopolnennoy i smeshannoy real'nosti (Virtual, Augmented and Mixed Reality Systems), St. Petersburg, 2018, 59 р., https://www.elibrary.ru/item.asp?id=46453270. (in Russ.)

The authors declare that there are no conflicts of interest present.