priborИзвестия высших учебных заведений. ПриборостроениеJournal of Instrument Engineering0021-34542500-0381Национальный исследовательский университет ИТМО10.17586/0021-3454-2023-66-12-993-1001pribor-176Research ArticleИНФОРМАТИКА И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫINFORMATICS AND INFORMATION PROCESSESПрименение методов Big Data для сравнения данных геомагнитных обсерваторий сети INTERMAGNETApplication of Big Data Methods for Comparing Data of Geomagnetic Observatories in the INTERMAGNET NetworkКоробейниковА. Г.KorobeynikovA. G.

Анатолий Григорьевич Коробейников — д-р техн. наук, профессор; Санкт-Петербургский филиал Института земного магнетизма, ионосферы и распространениярадиоволн им. Н. В. Пушкова Российской академии наук; дирекция; зам. директора по науке

Anatoly G. Korobeynikov — Dr. Sci., Professor; Pushkov Institute of Terrestrial Magnetism, Ionosphereand Radio Wave Propagation of the RAS, St. Petersburg Branch, Directorate; Deputy Director of Science

Korobeynikov_A_G@mail.ruСанкт-Петербургский филиал Института земного магнетизма, ионосферы и распространения радиоволн им. Н. В. Пушкова Российской академии наукPushkov Institute of Terrestrial Magnetism, Ionosphere and Radio Wave Propagation of the RAS20232911202466129931001Copyright © Национальный исследовательский университет ИТМО, 20242024Национальный исследовательский университет ИТМОНациональный исследовательский университет ИТМОhttps://pribor.ifmo.ru/jour/about/submissions#copyrightNoticehttps://pribor.ifmo.ru/jour/article/view/176

Методы обработки больших данных применяют для решения различных задач, например, сбора, хранения, анализа, визуализации и интерпретации больших массивов информации, получаемой из различных источников: сети Интернет, мобильных приложений и социальных сетей. Применение специальных технологий и инструментария, например MapReduce, Hadoop, Spark, ускоряет процесс за счет параллельной и распределенной обработки данных. Проведено сравнение данных пяти геомагнитных обсерваторий, входящих в международную сеть INTERMAGNET, при помощи визуализации, являющейся одной из составляющих технологии Big Data. В каждой обсерватории сети INTERMAGNET информация о текущем состоянии магнитного поля Земли собирается при помощи специально аттестованной магнитометрической аппаратуры. Достаточно часто вызывает научный и практический интерес анализ этой информации, полученной на большом интервале времени. В этом случае информация представляет собой большие данные, т.е. данные, которые не помещаются в оперативную память используемого компьютера. Представлены графики исходных данных наблюдений за период с 1 января 2018 г. по 31 июля 2023 г. В качестве инструментария использована система MatLab, где реализованы методы Big Data.

 

Big data processing methods are used to solve various problems, for example, collecting, storing, analyzing, visualizing and interpreting large amounts of information received from various sources: the Internet, mobile applications and social networks. The use of special technologies and tools, such as MapReduce, Hadoop, Spark, speeds up the process due to parallel and distributed data processing. A comparison of data from five geomagnetic observatories included in the international INTERMAGNET network is carried out using visualization, which is one of the components of Big Data technology. In each observatory of the INTERMAGNET network, information about the current state of the Earth's magnetic field is collected using specially certified magnetometric equipment. Quite often the analysis of this information obtained over a long period is of scientific and practical interest. In this case, the information is big data, that is, data that does not fit into the RAM of the computer being used. Graphs of initial observation data for the period from January 1, 2018 to July 31, 2023 are presented. The MatLab system with Big Data methods implemented in it, is used as a toolkit.

Big DataINTERMAGNETMatLabхранилище данныхмагнитное поле Землигеомагнитная обсерваторияBig DataINTERMAGNETMatLabdatastoreEarth's magnetic fieldgeomagnetic observatoryработа выполнена при поддержке гранта РНФ № 23-27-00011.This work was supported by the Russian Science Foundation, grant No. 23-27-00011ReferencesКоробейников А. Г. Применение методов BIG DATA для предобработки данных сети INTERMAGNET // Изв. вузов. Приборостроение. 2023. Т. 66, № 7. С. 533—538. DOI: 10.17586/0021-3454-2023-66-7-533-538.Korobeynikov A.G. Journal of Instrument Engineering, 2023, no. 7(66), pp. 533–538, DOI: 10.17586/0021-3454-2023-66-7-533-538. (in Russ.)Макшанов А. В., Журавлев А. Е., Тындыкарь Л. Н. Большие данные. Big Data. СПб: Лань, 2022. 188 с. ISBN 978-5-8114-9834-5.Makshanov A.V., Zhuravlev A.E., Tyndykar L.N. Bol'shiye dannyye. Big data (Big Data. Big Data), St. Petersburg, 2022, 188 р., ISBN 978-5-8114-9834-5. (in Russ.)Korobeynikov A. G., Grishentsev A. Y., Velichko E. N., Aleksanin S. A., Fedosovskii M. E., Bondarenko I. B., Korikov C. C. Calculation of Regularization Parameter in the Problem of Blur Removal in Digital Image // Optical Memory & Neural Networks (Information Optics). 2016. Vol. 25, N 3. P. 184—191.Korobeynikov A.G., Grishentsev A.Y., Velichko E.N., Aleksanin S.A., Fedosovskii M.E., Bondarenko I.B., Korikov C.C. Optical Memory & Neural Networks (Information Optics), 2016, no. 3(25), pp. 184–191.Дьяконов В. П. MATLAB и SIMULINK для радиоинженеров. М.: ДМК Пресс, 2016. 976 с.Dyakonov V.P. MATLAB i SIMULINK dlya radioinzhenerov (MATLAB and SIMULINK for Radio Engineers), Moscow, 2016, 976 р. (in Russ.)Новгородцев А. Б. Расчет электрических цепей в MATLAB: Учебный курс. СПб: Питер, 2004. 250 с.Novgorodtsev A.B. Raschet elektricheskikh tsepey v MATLAB (Calculation of Electrical Circuits in MATLAB), St. Petersburg, 2004, 250 р. (in Russ.)Матюшкин И. В. Моделирование и визуализация средствами MATLAB физики наноструктур. М.: Техносфера, 2011. 168 с.Matyushkin I.V. Modelirovaniye i vizualizatsiya sredstvami MATLAB fiziki nanostruktur (Modeling and Visualization by Means of MATLAB of the Physics of Nanostructures), Moscow, 2011, 168р. (in Russ.)Korobeynikov A. G., Fedosovsky M. E., Zharinov I. O., Shukalov A. V., Gurjanov A. V. Development of conceptual modeling method to solve the tasks of computer-aided design of difficult technical complexes on the basis of category theory // Intern. J. of Applied Engineering Research. 2017. Vol. 12, N 6. Р. 1114—1122.Korobeynikov A.G., Fedosovsky M.E., Zharinov I.O., Shukalov A.V., Gurjanov A.V. International Journal of Applied Engineering Research, 2017, no. 6(12), pp. 1114–1122.Гайдук А. Р., Беляев В. Е., Пъявченко Т. А. Теория автоматического управления в примерах и задачах с решениями в MATLAB: Учеб. пособие. СПб: Лань, 2016. 464 с.Gaiduk A.R., Belyaev V.E., Pyavchenko T.A. Teoriya avtomaticheskogo upravleniya v primerakh i zadachakh s resheniyami v MATLAB (Theory of Automatic Control in Examples and Problems with Solutions in MATLAB), St. Petersburg, 2016, 464 р. (in Russ.)Поршнев С. В. Компьютерное моделирование физических процессов в пакете MATLAB: Учеб. пособие. СПб: Лань, 2011. 736 с.Porshnev S.V. Komp'yuternoye modelirovaniye fizicheskikh protsessov v pakete MATLAB (Computer Simulation of Physical Processes in the MATLAB Package), St. Petersburg, 2011, 736 р. (in Russ.)Фриск В. В., Ганин В. И., Степанова А. Г. Компьютерный анализ и моделирование электрических цепей постоянного тока в среде MATLAB: учеб.-метод. пособие. М.: СОЛОН-ПРЕСС, 2021. 32 с.Frisk V.V., Ganin V.I., Stepanova A.G. Komp'yuternyy analiz i modelirovaniye elektricheskikh tsepey postoyannogo toka v srede MATLAB (Computer Analysis and Modeling of DC Electrical Circuits in the MATLAB Environment), Moscow, 2021, 32 р. (in Russ.)Коробейников А. Г. Применение искусственных нейронных сетей в системах автоматического управления магнитной левитацией // Программные продукты и системы. 2022. Т. 35, № 3. С. 452—457. DOI: 10.15827/0236-235X.139.452-457.Korobeynikov A.G. Software & Systems, 2022, no. 3(35), pp. 452–457, DOI: 10.15827/0236-235X.139.452-457. (in Russ.)Коробейников А. Г. Обработка и анализ данных с российского сегмента мировой сети магнитных обсерваторий ИНТЕРМАГНЕТ // Междунар. журн. гуманитарных и естественных наук. 2018. № 8. С. 91—98.Korobeynikov A.G. International Journal of Humanities and Natural Sciences, 2018, no. 8, pp. 91–98. (in Russ.)

The authors declare that there are no conflicts of interest present.