Ссылка для цитирования : Коробейников А. Г. Применение методов Big Data для сравнения данных геомагнитных обсерваторий сети INTERMAGNET // Изв. вузов. Приборостроение. 2023. Т. 66, № 12. С. 993—1001. DOI: 10.17586/0021-3454-2023-66-12-993-1001.

Аннотация. Методы обработки больших данных применяют для решения различных задач, например, сбора, хранения, анализа, визуализации и интерпретации больших массивов информации, получаемой из различных источников: сети Интернет, мобильных приложений и социальных сетей. Применение специальных технологий и инструментария, например MapReduce, Hadoop, Spark, ускоряет процесс за счет параллельной и распределенной обработки данных. Проведено сравнение данных пяти геомагнитных обсерваторий, входящих в международную сеть INTERMAGNET, при помощи визуализации, являющейся одной из составляющих технологии Big Data. В каждой обсерватории сети INTERMAGNET информация о текущем состоянии магнитного поля Земли собирается при помощи специально аттестованной магнитометрической аппаратуры. Достаточно часто вызывает научный и практический интерес анализ этой информации, полученной на большом интервале времени. В этом случае информация представляет собой большие данные, т.е. данные, которые не помещаются в оперативную память используемого компьютера. Представлены графики исходных данных наблюдений за период с 1 января 2018 г. по 31 июля 2023 г. В качестве инструментария использована система MatLab, где реализованы методы Big Data.

Ключевые слова: Big Data, INTERMAGNET, MatLab, хранилище данных, магнитное поле Земли, геомагнитная обсерватория

Благодарность: работа выполнена при поддержке гранта РНФ № 23-27-00011.

Список литературы:

1. Коробейников А. Г. Применение методов BIG DATA для предобработки данных сети INTERMAGNET // Изв. вузов. Приборостроение. 2023. Т. 66, № 7. С. 533—538. DOI: 10.17586/0021-3454-2023-66-7-533-538.
2. Макшанов А. В., Журавлев А. Е., Тындыкарь Л. Н. Большие данные. Big Data. СПб: Лань, 2022. 188 с. ISBN 978-5-8114-9834-5.
3. Korobeynikov A. G., Grishentsev A. Y., Velichko E. N., Aleksanin S. A., Fedosovskii M. E., Bondarenko I. B., Korikov C. C. Calculation of Regularization Parameter in the Problem of Blur Removal in Digital Image // Optical Memory & Neural Networks (Information Optics). 2016. Vol. 25, N 3. P. 184—191.
4. Дьяконов В. П. MATLAB и SIMULINK для радиоинженеров. М.: ДМК Пресс, 2016. 976 с.
5. Новгородцев А. Б. Расчет электрических цепей в MATLAB: Учебный курс. СПб: Питер, 2004. 250 с.
6. Матюшкин И. В. Моделирование и визуализация средствами MATLAB физики наноструктур. М.: Техносфера, 2011. 168 с.
7. Korobeynikov A. G., Fedosovsky M. E., Zharinov I. O., Shukalov A. V., Gurjanov A. V. Development of conceptual modeling method to solve the tasks of computer-aided design of difficult technical complexes on the basis of category theory // Intern. J. of Applied Engineering Research. 2017. Vol. 12, N 6. Р. 1114—1122.
8. Гайдук А. Р., Беляев В. Е., Пъявченко Т. А. Теория автоматического управления в примерах и задачах с решениями в MATLAB: Учеб. пособие. СПб: Лань, 2016. 464 с.
9. Поршнев С. В. Компьютерное моделирование физических процессов в пакете MATLAB: Учеб. пособие. СПб: Лань, 2011. 736 с.
10. Фриск В. В., Ганин В. И., Степанова А. Г. Компьютерный анализ и моделирование электрических цепей постоянного тока в среде MATLAB: учеб.-метод. пособие. М.: СОЛОН-ПРЕСС, 2021. 32 с.
11. Коробейников А. Г. Применение искусственных нейронных сетей в системах автоматического управления магнитной левитацией // Программные продукты и системы. 2022. Т. 35, № 3. С. 452—457. DOI: 10.15827/0236-235X.139.452-457.
12. Коробейников А. Г. Обработка и анализ данных с российского сегмента мировой сети магнитных обсерваторий ИНТЕРМАГНЕТ // Междунар. журн. гуманитарных и естественных наук. 2018. № 8. С. 91—98.