priborИзвестия высших учебных заведений. ПриборостроениеJournal of Instrument Engineering0021-34542500-0381Национальный исследовательский университет ИТМО10.17586/0021-3454-2024-67-8-713-721pribor-143Research ArticleОПТИЧЕСКИЕ И ОПТИКО-ЭЛЕКТРОННЫЕ ПРИБОРЫ И КОМПЛЕКСЫOPTICAL AND OPTOELECTRONIC DEVICES AND COMPLEXESМетоды компенсации влияния различий в отражательной способности объектов для повышения точности построения карт глубин активно-импульсной телевизионной измерительной системойMethods of Compensating for the Influence of Differences in the Reflectivity of Objects to Improve the Accuracy of Constructing Depth Maps Using an Active-pulse Television Measuring SystemМусихинИ. Д.MusikhinI. D.

Илья Денисович Мусихин – магистрант; кафедра телевидения и управления

Томск

Ilya D. Musikhin – Master Student; Department of Television and Control

Tomsk

ilia.d.musikhin@tusur.ruКапустинВ. В.KapustinV. V.

Вячеслав Валериевич Капустин – канд. техн. наук; кафедра телевидения и управления

Томск

Vyacheslav V. Kapustin – PhD, Associate Professor; Department of Television and Control; Associate Professor

Tomsk

viacheslav.v.kapustin@tusur.ruМовчанА.MovchanA.

Андрей Мовчан – канд. техн. наук; кафедра телевидения и управления; доцент

Томск

Andrew Movchan – PhD, Associate Professor; Department of Television and Control; AssociateProfessor

Tomsk

mr.movchann@mail.ruЗабугаС. А.ZabugaS. A.

Сергей Александрович Забуга – магистрант; кафедра телевидения и управления

Томск

Sergey A. Zabuga – Master Student; Department of Television and Control

Tomsk

sergeizabuga@gmail.comПознахаревЕ. С.PoznakharevE. S.

Егор Сергеевич Познахарев  – лабораторияраспространения оптических сигналов; науч. сотр.

Томск

Egor S. Poznakharev – Laboratory of Optical Signals Propagation; Researcher

Tomsk

724_pes1992@iao.ruТомский государственный университет систем управления и радиоэлектроникиTomsk State University of Control Systems and RadioelectronicsИнститут оптики атмосферы им. В. Е. Зуева Сибирского отделения Российской академии наукV. E. Zuev Institute of Atmospheric Optics of the RAS, Siberian Branch202427112024678713721Copyright © Национальный исследовательский университет ИТМО, 20242024Национальный исследовательский университет ИТМОНациональный исследовательский университет ИТМОhttps://pribor.ifmo.ru/jour/about/submissions#copyrightNoticehttps://pribor.ifmo.ru/jour/article/view/143

Рассмотрено влияние отражательной способности объектов на точность построения нормированной карты глубин пространства с использованием активно-импульсной телевизионной измерительной системы. Приведены краткие сведения о системе, ее устройстве, принципах измерения дальности и построения карт глубин с ее помощью. В качестве материала для исследования взяты восемь видеофайлов, которые получены в результате проведения экспериментальных исследований в большой аэрозольной камере при использовании активно-импульсной телевизионной измерительной системы в режиме многозонного измерения дальности и многозонного измерения дальности с модуляцией. Предложен метод вычитания коэффициентов, обеспечивающий устранение расхождения значений относительной яркости на нормированной карте глубин между темными и светлыми объектами, находящимися на одном расстоянии от системы. Метод экспериментально апробирован. Выполнено сравнение предложенного метода и метода вычитания темнового кадра по критерию минимизации среднеквадратического отклонения измеренной глубины между темными и светлыми объектами. В результате применения обоих методов достигнуто уменьшение среднеквадратического отклонения от 1,3 до 20 раз в зависимости от примененного метода минимизации и метода измерения дальности, используемого в системе. Метод вычитания коэффициентов может быть использован только в процессе постобработки, однако он показывает лучшие результаты, по сравнению с методом вычитания темнового кадра, который может быть использован в режиме реального времени.

The influence of the reflectivity of objects on the accuracy of constructing a normalized depth map of space using an active-pulse television measuring system is considered. Brief information about the system, its structure, principles of measuring range and constructing depth maps with its help is given. Eight video files obtained as a result of experimental studies in a large aerosol chamber using an active-pulse television measuring system in the multi-zone range measurement mode and multi-zone range measurement with modulation are taken as material for the study. A method for subtracting coefficients is proposed, which ensures the elimination of the discrepancy in the relative brightness values on the normalized depth map between dark and light objects located at the same distance from the system. The method is experimentally tested. A comparison of the proposed method and the method of subtracting a dark frame is performed according to the criterion of minimizing the root-mean-square deviation of the depth measurement between dark and light objects. As a result of applying both methods, the mean square deviation was reduced by 1.3 to20 times, depending on the minimization method and the range measurement method used in the system. The coefficient subtraction method can only be used in post-processing, but it shows better results than the dark frame subtraction method, which can be used in real time.

отражательная способность объектовактивно-импульсная телевизионная измерительная системанормированная карта глубинметод вычитания коэффициентовметод вычитания темнового кадраreflectivity of objectsactive pulse television measuring systemnormalized depth mapcoefficient subtraction methoddark frame subtraction methodИсследование выполнено за счет гранта Российского научного фонда № 21-79-10200 в ТУСУР.This work was supported by the grant of the Russian Science Foundation № 21-79-10200 to TUSUR.ReferencesGimeno J. et al. A new AR authoring tool using depth maps for industrial procedures // Computers in Industry. 2013. Vol. 64, N 9. P. 1263–1271.Gimeno J. et al. Computers in Industry, 2013, no. 9(64), pp. 1263–1271.Devagiri J. S. et al. Augmented Reality and Artificial Intelligence in industry: Trends, tools, and future challenges // Expert Systems with Applications. 2022. P. 118002.Devagiri J.S. et al. Expert Systems with Applications, 2022, рр. 118002.Rahimian F. P. et al. On-demand monitoring of construction projects through a game-like hybrid application of BIM and machine learning // Automation in Construction. 2020. Vol. 110. P. 103012.Rahimian F.P. et al. Automation in Construction, 2020, vol. 110, рр. 103012.Vijayanagar K. R., Loghman M., Kim J. Refinement of depth maps generated by low-cost depth sensors // 2012 Intern. SoC Design Conf. (ISOCC). IEEE, 2012. P. 355–358.Vijayanagar K.R., Loghman M., Kim J. International SoC Design Conference (ISOCC), IEEE, 2012, рр. 355–358.Yahav G., Iddan G. J., Mandelboum D. 3D imaging camera for gaming application // 2007 Digest of Technical Papers Intern. Conf. on Consumer Electronics. IEEE. 2007. P. 1–2.Yahav G., Iddan G.J., Mandelboum D. 2007 Digest of Technical Papers International Conference on Consumer Electronics, IEEE, 2007, рр. 1–2.Häne C. et al. Stereo depth map fusion for robot navigation // 2011 IEEE/RSJ Intern. Conf. on Intelligent Robots and Systems. IEEE. 2011. P. 1618–1625.Häne C. et al. IEEE/RSJ International Conference on Intelligent Robots and Systems, IEEE, 2011, рр. 1618–1625.Haigron P. et al. Depth-map-based scene analysis for active navigation in virtual angioscopy // IEEE Transactions on Medical Imaging. 2004. Vol. 23, N 11. P. 1380–1390.Haigron P. et al. IEEE Transactions on Medical Imaging, 2004, no. 11(23), pp. 1380–1390.Angelopoulos A. N. et al. Enhanced depth navigation through augmented reality depth mapping in patients with low vision // Scientific reports. 2019. Vol. 9, N 1. P. 11230.Angelopoulos A.N. et al. Scientific reports, 2019, no. 1(9), pp. 11230.Krutikova O., Sisojevs A., Kovalovs M. Creation of a depth map from stereo images of faces for 3D model reconstruction // Procedia Computer Science. 2017. Vol. 104. P. 452–459.Krutikova O., Sisojevs A., Kovalovs M. Procedia Computer Science, 2017, vol. 104, рр. 452–459.Fu Y. et al. Texture mapping for 3d reconstruction with rgb-d sensor // Proc. of the IEEE Conf. on computer vision and pattern recognition. 2018. P. 4645–4653.Fu Y. et al. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, рр. 4645–4653.Ma R. et al. Real-time 3D reconstruction of colonoscopic surfaces for determining missing regions // Medical Image Computing and Computer Assisted Intervention–MICCAI 2019: 22nd Intern. Conf. Shenzhen, China, 13–17 October 2019, Proc., Pt V 22. Springer International Publishing, 2019. P. 573–582.Ma R. et al. Medical Image Computing and Computer Assisted Intervention–MICCAI 2019, 22nd International Conference, Shenzhen, China, October 13–17, 2019, Proc., Part V 22. Springer International Publishing, 2019, рр. 573–582.Movchan A. K., Kapustin V. V., Kuryachiy M. I., and Movchan E. S. Distance Measurement using Active-Pulse Television Measuring Systems with Automatic Scanning of Space by Depth // 2023 Dynamics of Systems, Mechanisms and Machines (Dynamics). Omsk, Russian Federation, 2023. P. 1–7. DOI: 10.1109/Dynamics60586.2023.10349593.Movchan A.K., Kapustin V.V., Kuryachiy M.I., and Movchan E.S. Dynamics of Systems, Mechanisms and Machines (Dynamics), Omsk, Russian Federation, 2023, pp. 1–7, DOI: 10.1109/Dynamics60586.2023.10349593.Капустин В. В., Мовчан А. К. Многозонные методы формирования карт глубин с использованием активно-импульсных телевизионных измерительных систем // Вопросы радиоэлектроники. Сер. Техника телевидения. 2023. № 2. С. 44–54.Kapustin V.V., Movchan A.K. Voprosy radioelektroniki. Seriya: Tekhnika televideniya, 2023, no. 2, pp. 44–54. (in Russ.)Chaldina E. S., Movchan A. K., Kapustin V. V. and Kuryachiy M. I. Multi-Area Range Measurement Method Using Active-Pulse Television Measuring Systems // 21st Intern. Conf. of Young Specialists on Micro/Nanotechnologies and Electron Devices (EDM). Chemal, Russia, 2020. P. 293–297. DOI: 10.1109/EDM49804.2020.9153500.Chaldina E.S., Movchan A.K., Kapustin V.V., and Kuryachiy M.I. 21st International Conference of Young Specialists on Micro/Nanotechnologies and Electron Devices (EDM), Chemal, Russia, 2020, pp. 293–297, DOI: 10.1109/EDM49804.2020.9153500.Мовчан А. К. и др. Методы и алгоритмы прецизионного измерения дальности активно-импульсными телевизионными измерительными системами // Докл. Томского государственного университета систем управления и радиоэлектроники. 2020. Т. 23, №. 2. С. 7–14.Movchan A.K., Kapustin V.V., Kuryachiy M.I., Chaldina E.S. Proceedings of TUSUR University, 2020, no. 2(23), pp. 7–14. (in Russ.)Movhan A. K., Kapustin V. V., Kuryachiy M. I., and Movchan E. S. Multi-Area Method of a Depth Map Building with Gain Modulation in Active-Pulse Television Measuring Systems // 2022 Intern. Siberian Conf. on Control and Communications (SIBCON). Tomsk, Russian Federation, 2022. P. 1–6. DOI: 10.1109/SIBCON56144.2022.10002872.Movсhan A.K., Kapustin V.V., Kuryachiy M.I., and Movchan E.S. International Siberian Conference on Control and Communications (SIBCON), Tomsk, Russian Federation, 2022, pp. 1–6, DOI: 10.1109/SIBCON56144.2022.10002872.Аэрозольные камеры [Электронный ресурс]: <https://iao.ru/ru/about/resources/equip/acams>. (дата обращения: 30.01.2024).https://iao.ru/ru/about/resources/equip/acams. (in Russ.)Musikhin I. D., Kapustin V. V., Tislenko A. A., Movchan A., Zabuga S. A. Building Depth Maps Using an Active-Pulse Television Measuring System in Real Time Domain // Scientific Visualization. 2024. Vol. 16, N 1. Р. 38–51. DOI: 10.26583/sv.16.1.04.Musikhin I.D., Kapustin V.V., Tislenko A.A., Movchan A., Zabuga S.A. Scientific Visualization, 2024, no. 1(16), pp. 38–51, DOI: 10.26583/sv.16.1.04.Свид-во о гос. рег. программы для ЭВМ 2023615399 РФ. Формирователь карт глубин АИ ТИС / И. Д. Мусихин, С. А. Забуга, В. В. Капустин, А. Мовчан. Заяв. № 2023614290 от 11.03.2023, опубл. 14.03.2023.Certificate on the state registration of the computer programs RU 2023615399, Formirovatel’ kart glubin AI TIS (Depth Map Maker AI TIS), I.D. Musikhin, S.A. Zabuga, V.V. Kapustin, A. Movchan, Application no. 2023614290, Priority 11.03.2023, Published 14.03.2023. (in Russ.)

The authors declare that there are no conflicts of interest present.