priborИзвестия высших учебных заведений. ПриборостроениеJournal of Instrument Engineering0021-34542500-0381Национальный исследовательский университет ИТМО10.17586/0021-3454-2026-69-3-201-210pribor-484Research ArticleСИСТЕМНЫЙ АНАЛИЗ, УПРАВЛЕНИЕ И ОБРАБОТКА ИНФОРМАЦИИSYSTEM ANALYSIS, MANAGEMENT AND INFORMATION PROCESSINGАнализ алгоритмов геопривязки положения беспилотного летательного аппарата по данным визуально-инерциального одометраAnalysis of Algorithms for Georeferenced Positioning of an Unmanned Aerial Vehicle Using Visual-Inertial Odometer DataЖирковЕ. А.ZhirkovE. A.

Евгений Андреевич Жирков — отдел разработки; программист 

Рязань

Evgeny A. Zhirkov — Software Development Department; Software Developer 

Ryazan

jirckow.evgeny2013@yandex.ruМуратовЕ. Р.MuratovE. R.

Евгений Рашитович Муратов — канд. техн. наук; отдел разработки; ведущий программист

Рязань

Evgeny R. Muratov — PhD; Software Development Department; Senior Software Developer

Ryazan

e.muratov@kvantron.comКвантрон ГруппKvantron Group202608042026693201210Copyright © Национальный исследовательский университет ИТМО, 20262026Национальный исследовательский университет ИТМОНациональный исследовательский университет ИТМОhttps://pribor.ifmo.ru/jour/about/submissions#copyrightNoticehttps://pribor.ifmo.ru/jour/article/view/484

Представлены известные алгоритмы детектирования и сопоставления особых точек изображения при решении задачи автономного позиционирования беспилотного летательного аппарата (БПЛА), оснащенного видеокамерой, в условиях отсутствия сигнала от глобальной спутниковой навигационной системы. Идея автономного позиционирования БПЛА заключалась в последовательном сравнении соседних пар кадров видеопотока для отслеживания перемещений носителя видеокамеры в промежутке времени между упомянутыми кадрами. Цель исследования — по результатам сравнительного анализа алгоритмов выделить те, которые наилучшим образом позволяют отслеживать координаты носителя. Реальные полетные данные, используемые для построения контрольной траектории, получены с помощью макетного образца летательного аппарата самолетного типа, оснащенного бортовой инерциальной навигационной системой, имеющей набор микроэлектромеханических сенсоров, и визуальным одометром с надир-ориентированной видеокамерой. Сопоставление реальных полетных данных и результатов работы алгоритмов производилось по нескольким показателям качества: минимуму среднеквадратической ошибки позиционирования, максимальному отклонению от контрольной траектории и среднему времени, необходимому для обработки пары соседних кадров. Результаты сравнения алгоритмов сведены в таблицу, также для наглядного сравнения приведены графики контрольной траектории и оценок, полученные с помощью данных алгоритмов. По совокупности показателей качества позиционирования для реализации рекомендованы нейросетевые алгоритмы d2net, darkfeat и XFeat(dense).

Known algorithms for detecting and matching singular image points are presented when solving the problem of autonomous positioning of an unmanned aerial vehicle (UAV) equipped with a video camera in the absence of a signal from the global satellite navigation system. The idea of autonomous UAV positioning was to sequentially compare adjacent pairs of video stream frames to track the movements of the video camera carrier in the time interval between the mentioned frames. The purpose of the study is to identify those that best allow tracking the coordinates of the carrier based on the results of a comparative analysis of algorithms. The real flight data used to construct the control trajectory was obtained using a mock-up model of an aircraft-type aircraft equipped with an on-board inertial navigation system with a set of microelectromechanical sensors and a visual odometer with a nadir-oriented video camera. The comparison of real flight data and the results of the algorithms was carried out according to several quality indicators: the minimum standard deviation of the positioning error, the maximum deviation from the control trajectory, and the average time required to process a pair of adjacent frames. The results of comparing the algorithms are summarized in a table, and graphs of the control trajectory and estimates obtained using these algorithms are also provided for visual comparison. According to the set of positioning quality indicators, the neural network algorithms d2net, darkfeat and XFeat(dense) are recommended for implementation.

визуально-инерциальный одометравтономная навигацияматрица гомографииинерциальная навигационная системадетектор особых точекбеспилотный летательный аппаратvisual-inertial odometerautonomous navigationhomography matrixinertial navigation systemsingular point detectorunmanned aerial vehicleReferencesМирошниченко А. П., Мухин И. Е. Методы навигации по данным аэроландшафта для малых БЛА // Изв. ЮЗГУ. Серия. Управление, вычислительная техника, информатика. Медицинское приборостроение. 2023. Т. 14, № 3. С. 144–156.Miroshnichenko A.P., Mukhin I.E. Proceedings of the Southwest State University. Series: Control, Computer Engineering, Information Science. Medical Instruments Engineering, 2024, no. 3(14), pp. 144–156. (in Russ.)Пешехонов В. Г. Высокоточная навигация без использования информации глобальных навигационных спутниковых систем // Гироскопия и навигация. 2022. Т. 30, № 1. C. 3–11.Peshekhonov V.G. Gyroscopy and Navigation, 2022, no. 1(13), pp. 1–6.Макаренко С. И. Противодействие беспилотным летательным аппаратам. СПб: Наукоемкие технологии, 2020. 204 с.Makarenko S.I. Protivodeystviye bespilotnym letatel'nym apparatam (Counteracting Unmanned Aerial Vehicles), St. Petersburg, 2020, 204 р. (in Russ.)Кащеев А. А., Кошелев В. И. Оценка эффективности подавления сигналов спутниковых радионавигационных систем преднамеренными помехами // Журнал радиоэлектроники. 2012. № 7. С. 1–12.Kashcheev A.A., Koshelev V.I. Journal of Radio Electronics, 2012, no. 7, pp. 1–12. (in Russ.)Conte G., Doherty P. An integrated UAV navigation system based on aerial image matching // Proc. IEEE Aerospace Conf. 2008. P. 1–10.Conte G., Doherty P. Proc. IEEE Aerospace Conf., 2008, рр. 1–10.Lu Y., Xue Z., Xia G.-S., Zhang L. A survey on vision-based UAV navigation // Geo-Spatial Information Science. 2018. Vol. 21, N 1. P. 21–32.Lu Y., Xue Z., Xia G.-S., Zhang L. Geo-Spatial Information Science, 2018, no. 1(21), pp. 21–32.Yang T., Ren Q., Zhang F., Xie B., Ren H., Li J., Zhang Y. Hybrid camera array-based UAV auto-landing on moving UGV in GPS-denied environment // Remote Sensing. 2018. Vol. 10. P. 1829.Yang T., Ren Q., Zhang F., Xie B., Ren H., Li J., Zhang Y. Remote Sensing, 2018, vol. 10, рр. 1829.Ян Г., Мэн В.-Д., Дун Х.-Г., Фэн Н.-Н. Использование ключевых точек и линий изображения в задаче визуально-инерциальной одометрии в реальном времени // Гироскопия и навигация. 2023. Т. 31, № 4. C. 96–117.Yang G., Meng W.D., Hou G.D., Feng N.N. Giroskopiya i Navigatsiya, 2023, no. 4(31), pp. 96–117. (in Russ.)Ефимов А. И., Новиков А. И. Алгоритм поэтапного уточнения проективного преобразования для совмещения изображений // Компьютерная оптика. 2016. Т. 40, № 2. С. 258–265.Efimov A.I., Novikov A.I. Computer Optics, 2016, no. 2(40), pp. 258–265. (in Russ.)Szeliski R. Image alignment and stitching: a tutorial // Foundations and Trends in Computer Graphics and Vision. 2006. Vol. 2, N 1. P. 1–104.Szeliski R. Foundations and Trends in Computer Graphics and Vision, 2006, no. 1(2), pp. 1–104.Али Б., Садеков Р. Н., Цодокова В. В. Алгоритмы навигации беспилотных летательных аппаратов с использованием систем технического зрения // Гироскопия и навигация. 2022. Т. 30, № 4. С. 87–105.Ali B., Sadekov R.N., Tsodokova V.V. Gyroscopy and Navigation, 2022, no. 4(13), pp. 241–252.Тихомиров В. В., Дзуев А. А., Голиков В. П., Требухов А. В. Калибровка БИНС с блоком инерциальных датчиков, закрепленным на амортизаторах // Гироскопия и навигация. 2019. Т. 27, № 1. C. 33–46.Tikhomirov V.V., Dzuev A.A., Golikov V.P., Trebukhov A.V. Gyroscopy and Navigation, 2019, no. 1(10), pp. 7–14.Luhmann T., Robson S., Kyle S., Boehm J. Close-range photogrammetry and 3D imaging. Berlin: De Gruyter, 2013. 684 p.Luhmann T., Robson S., Kyle S., Boehm J. Close-Range Photogrammetry and 3D Imaging, Berlin, De Gruyter, 2013, 684 p.Fleps M., Mair E., Ruepp O., Suppa M., Burschka D. Optimization based IMU camera calibration // Proc. IEEE/RSJ Intern. Conf. on Intelligent Robots and Systems, SanFrancisco, 2011. P. 3297–3304.Fleps M., Mair E., Ruepp O., Suppa M., Burschka D. Proc. IEEE/RSJ Intern. Conf. on Intelligent Robots and Systems, San Francisco, 2011, рр. 3297–3304.Zhao X., Wu X., Miao J., Chen W., Chen P.C.Y., Li Z. ALIKE: accurateand lightweight keypoint detection and descriptor extraction // Trans. Multi. 2023. Vol. 25. P. 3101–3112.Zhao X., Wu X., Miao J., Chen W., Chen P.C.Y., Li Z. Trans. Multi., 2023, vol. 25, рр. 3101–3112.Chen H., Luo Z., Zhou L., Tian Y., Zhen M., Fang T., McKinnon D., Tsin Y., Quan L. A SpanFormer: detector-free image matching with adaptive span transformer // Proc. Computer Vision — ECCV 2022: 17th European Conf. Part XXXII. Berlin: Springer-Verlag, 2022. P. 20–36.Chen H., Luo Z., Zhou L., Tian Y., Zhen M., Fang T., McKinnon D., Tsin Y., Quan L.A. Proc. ComputerVision — ECCV 2022: 17th Europ. Conf. Pt. XXXII, Berlin, Springer-Verlag, 2022, рр. 20–36.Dusmanu M., Rocco I., Pajdla T., Pollefeys M., Sivic J., Torii A. D2Net: Atrainable CNN for joint description and detection of local features // Proc. IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR-2019), Long Beach, 2019.P. 8084–8093.Dusmanu M., Rocco I., Pajdla T., Pollefeys M., Sivic J., Torii A. Proc. IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR-2019), Long Beach, 2019, рр. 8084–8093.He Y., Hu Y., Zhao W., Li J., Liu Y.-J., Han Y.,Wen J. DarkFeat: noise-robust feature detector and descriptor for extremely low-light RAW images // Proc. of the 37th AAAI Conf. on Artificial Intelligence, 35th Conf. on Innovative Applications of Artificial Intelligence, 30th Symp. on Educational Advances in Artificial Intelligence (AAAI’23/ IAAI’23/EAAI’23). 2023. Vol. 37. AAAI Press. P. 826–834.He Y., Hu Y., Zhao W., Li J., Liu Y.-J., Han Y., Wen J. Proc. of the 37th AAAI Conf. on Artificial Intelligence and 35th Conf. on Innovative Applications of Artificial Intelligence and 13th Symp. on Educational Advances in Artificial Intelligence (AAAI'23/IAAI'23/EAAI'23), vol. 37, AAAI Press, 2023, рр. 826–834.Tyszkiewicz M. J., Fua P., Trulls E. DISK: learning local features with policy gradient // Proc. of the 34th Intern. Conf. on Neural Information Processing Systems (NIPS’20). N.Y.: Red Hook, 2020. P. 14254–14265.Tyszkiewicz M.J., Fua P., Trulls E. Proc. of the 34th Intern. Conf. on Neural Information Processing Systems (NIPS'20), NY, Red Hook, 2020, рр. 14254–14265.Cheng X., Lin H., Wu X., Yang F., Shen D. Improving video-text retrieval by multi-stream corpus alignment and dual softmax loss. // ArXiv, abs/2109.04290. 2021.Cheng X., Lin H., Wu X., Yang F., Shen D. ArXiv, abs/2109.04290, 2021.Lindenberger P., Sarlin P.-E.,Pollefeys M. LightGlue: local feature matching at light speed // Proc. IEEE/CVF Intern. Conf. on Computer Vision (ICCV), Paris, 2023. P. 17581–17592.Lindenberger P., Sarlin P.-E., Pollefeys M. Proc. 2023 IEEE/CVF Intern. Conf. on Computer Vision (ICCV), Paris, 2023, рр. 17581–17592.Wang Y., He X., Peng S., Tan D., Zhou X. Efficient LoFTR: semi-dense local feature matching with sparse-like speed // Proc. IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR-2024). Seattle, 2024. P. 21666–21675.Wang Y., He X., Peng S., Tan D., Zhou X. Proc. IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR2024), Seattle, 2024, рр. 21666 21675.Wang C., Zhang G., Cheng Z., Zhou W. Rethinking low-level features for interest point detection and description // Proc. Computer Vision — ACCV 2022: 16th Asian Conf. on Computer Vision. Part II. Berlin: Springer-Verlag, 2022. P. 108–123.Wang C., Zhang G., Cheng Z., Zhou W. Proc. Computer Vision — ACCV 2022: 16th Asian Conf. on Computer Vision, Pt. II, Berlin, Springer-Verlag, 2022, рр. 108–123.Sun J., Shen Z., Wang Y., Bao H., Zhou X. LoFTR: detector-free local feature matching with transformers // IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR). IEEE, 2021. P. 8918–8927.Sun J., Shen Z., Wang Y., Bao H., Zhou X. 2021 IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR), IEEE, 2021, рр. 8918–8927.Leroy V., Cabon Y., Revaud J. Grounding image matching in 3D with MASt3R // Proc. Computer Vision — ECCV 2024: 18th European Conf. Berlin: Springer-Verlag, 2024. P. 71–91.Leroy V., Cabon Y., Revaud J. Proc. Computer Vision — ECCV 2024: 18th Europ. Conf., Berlin, Springer-Verlag, 2024, рр. 71–91.Revaud J., Weinzaepfel P., De Souza C., Humenberger M. R2D2: repeatable and reliable detector and descriptor // Proc. of the 33rd Intern. Conf. on Neural Information Processing Systems. Curran Associates Inc., Red Hook, 2019. P. 12414–12424.Revaud J., Weinzaepfel P., De Souza C., Humenberger M. Proc. of the 33rd Intern. Conf. on Neural Information Processing Systems, Curran Associates Inc., Red Hook, 2019, рр. 12414–12424.Giang K.T., Song S., Jo S. TopicFM: robust and interpretable topic-assisted feature matching // AAAI Conf. on Artificial Intelligence. 2022.Giang K.T., Song S., Jo S. AAAI Conf. on Artificial Intelligence, 2022.Potje G., Cadar F., Araujo A., Martins R., Nascimento E. R. XFeat: accelerated features for lightweight image matching // Proc. IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR), Seattle, 2024. P. 2682–2691.Potje G., Cadar F., Araujo A., Martins R., Nascimento E.R. Proc. 2024 IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR), Seattle, 2024, рр. 2682–2691.Tuzcuoğlu Ö., Köksal A., Sofu B., Kalkan S.,Alatan A.A. XoFTR: cross-modal feature matching transformer // Proc. IEEE/CVF Conf. on Computer Vision and Pattern Recognition Workshops (CVPRW), Seattle, 2024. P. 4275–4286.Tuzcuoğlu Ö., Köksal A., Sofu B., Kalkan S., Alatan A.A. Proc. 2024 IEEE/CVF Conf. on Computer Vision and Pattern Recognition Workshops (CVPRW), Seattle, 2024, рр. 4275–4286.Jiang X., Ren J., Li Z., Zhou X., Liang D., Bai X. MINIMA: modality invariant image matching // arxiv. org›html/2412.19412v1.Jiang X., Ren J., Li Z., Zhou X., Liang D., Bai X. arxiv.org›html/2412.19412v1.Lowe D. G. Distinctive image features from scale-invariant keypoints // Intern. Journal of Computer Vision. 2004. Vol. 60, N 2. P. 91–110.Lowe D.G. Intern. J. of Computer Vision, 2004, no. 2(60), pp. 91–110.Муратов Е. Р., Жирков Е. А. Реализация визуально-инерциального одометра с надир-ориентированной видеокамерой //Материалы ХXVII конф. молодых ученых „Навигация и управление движением“ / Под общ. ред. В. Г. Пешехонова. СПб: ЦНИИ „Электроприбор“, 2025.Muratov E.R., Zhirkov E.A. Navigatsiya i upravleniye dvizheniyem (Navigation and Traffic Control), Proceedings of the XXVII Conference of Young Scientists, St. Petersburg, 2025. (in Russ.)

The authors declare that there are no conflicts of interest present.