priborИзвестия высших учебных заведений. ПриборостроениеJournal of Instrument Engineering0021-34542500-0381Национальный исследовательский университет ИТМО10.17586/0021-3454-2026-69-7-606-615pribor-566Research ArticleРОБОТЫ, МЕХАТРОНИКА И РОБОТОТЕХНИЧЕСКИЕ СИСТЕМЫROBOTS, MECHATRONICS AND ROBOTIC SYSTEMSМногоракурсная 3D-реконструкция сцены с адаптивной фильтрацией для роботизированного захвата на платформе Jetson NanoMulti-angle 3D reconstruction of a scene with adaptive filtering for robotic grasping on the Jetson Nano platformМещеряковВ. Н.MeshcheryakovV. N.

Виктор Николаевич Мещеряков      — д-р техн. наук, профессор; Липецкий государственный технический университет, кафедра автоматизированного электропривода и робототехники; заведующий кафедрой.

Липецк

Victor N. Meshcheryakov         —      Dr. Sci., Professor; Lipetsk State Technical University, Department of Automated Electric Drive and Robotics; Head of the Department.

Lipetsk

mesherek@yandex.ruКондратьевС. Е.KondratyevS. E.

Сергей Евгеньевич Кондратьев        — аспирант; Липецкий государственный технический университет, кафедра автоматизированного электропривода и робототехники; ассистент.

Липецк

Sergey E. Kondratyev     —      Post-Graduate Student; Lipetsk State Technical University, Department of Automated Electric Drive and Robotics; Teaching Assistant.

Lipetsk

razthepsycho@yandex.ruКазаковМ. Ю.KazakovM. Yu.

Михаил Юрьевич Казаков      — аспирант; Липецкий государственный технический университет, кафедра автоматизированного электропривода и робототехники.

Липецк

Mikhail Yu. Kazakov      —      Post-Graduate Student; Lipetsk State Technical University; Department of Automated Electric Drive and Robotics.

Lipetsk

kazakov.m.y@yandex.ruЛипецкий государственный технический университетРоссияLipetsk State Technical UniversityRussian Federation202609082026697606615Copyright © Национальный исследовательский университет ИТМО, 20262026Национальный исследовательский университет ИТМОНациональный исследовательский университет ИТМОhttps://pribor.ifmo.ru/jour/about/submissions#copyrightNoticehttps://pribor.ifmo.ru/jour/article/view/566

Представлен процесс создания интегрированной системы высокоточного автономного захвата объектов промышленным роботом ABB IRB 140 на основе RGB-D-восприятия и методов глубокого обучения. Предложена полнофункциональная система реального времени для ресурсно-ограниченной платформы NVIDIA Jetson Nano, объединяющая многоракурсную 3D-реконструкцию сцены с исключением центральной зоны повышенной погрешности, адаптивную обработку глубинных данных и нейросетевую детекцию объектов на базе YOLOv3. Разработан алгоритм слияния облаков точек с взвешенным усреднением в воксельном представлении и адаптивной фильтрацией по конфигурации манипулятора; проведено абляционное исследование вклада маски центральной зоны, многоракурсного усреднения и адаптивной фильтрации в итоговую точность захвата. Система достигает точности захвата 97,96 % при среднем времени цикла 4,2 ± 0,8 с для упорядоченной укладки и 94,74 % при 6,8 ± 1,5 с для неупорядоченной кипы при средней ошибке локализации 2,3 ± 1,5 см. Достоверность результатов подтверждена статистическим анализом и сравнением с методами 6IMPOSE, PVN3D+ и GG-CNN. Показано преимущество предложенного подхода по точности захвата и устойчивости к окклюзиям при сопоставимом времени обработки. Полученные результаты демонстрируют практическую применимость системы для автономного манипулирования в производственных средах с частичной окклюзией и вариативной геометрией сцены.

The process of creating an integrated system for high-precision autonomous object grasping by an ABB IRB 140 industrial robot based on RGB-D perception and deep learning methods is presented. A fully functional real-time system for the resource-limited NVIDIA Jetson Nano platform is proposed, combining multi-angle 3D reconstruction of the scene with the exclusion of the central zone of the increased error, adaptive processing of depth data and neural network object detection based on YOLOv3. An algorithm for merging point clouds with weighted averaging in voxel representation and adaptive filtering by manipulator configuration has been developed; an ablation study of the contribution of the central zone mask, multi-angle averaging and adaptive filtering to the final capture accuracy has been conducted. The system achieves a gripping accuracy of 97.96 % with an average cycle time of 4.2 ± 0.8 s for orderly stacking and 94.74 % at 6.8 ± 1.5 s for disordered bales with an average localization error of 2.3 ± 1.5 cm. The reliability of the results is confirmed by statistical analysis and comparison with the methods of 6IMPOSE, PVN3D+ and GG-CNN. The advantage of the proposed approach in terms of capture accuracy and occlusion resistance at a comparable processing time is shown. The results obtained demonstrate the practical applicability of the system for autonomous manipulation in production environments with partial occlusion and variable scene geometry.

RGB-D-сенсорыоблака точекадаптивная обработка глубинных данныхглубокое обучениенейросетевые моделиадаптивное управлениезахват объектовавтономные системы захватаобработка окклюзиинеупорядоченные сценыRGB-D sensorspoint cloudsadaptive depth data processingdeep learningneural network modelsadaptive controlobject grasping and manipulationautonomous grasping systemsocclusion handlingunstructured scenesReferencesLee Y. Three-Dimensional Dense Reconstruction: A Review of Algorithms and Datasets // Sensors. 2024. Vol. 24, N 18, аrt. 5861. DOI: 10.3390/s24185861.Lee Y. Sensors, 2024, no. 18(24), pp. 5861, DOI: 10.3390/s24185861.Zhu J., Gao C., Sun Q. et al. A Survey of Indoor 3D Reconstruction Based on RGB-D Cameras // IEEE Access. 2024. Vol. 12. DOI: 10.1109/ACCESS.2024.3443065.Zhu J., Gao C., Sun Q. et al. IEEE Access, 2024, vol. 12, DOI: 10.1109/ACCESS.2024.3443065Guo Y., Wang H., Hu Q., Liu H., Liu L., Bennamoun M. Deep Learning for 3D Point Clouds: A Survey // IEEE Trans. on Pattern Analysis and Machine Intelligence. 2021. Vol. 43, N 12. P. 4338–4364. DOI: 10.1109/TPAMI.2020.3005434.Guo Y., Wang H., Hu Q., Liu H., Liu L., Bennamoun M. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, no. 12(43), pp. 4338–4364, DOI: 10.1109/TPAMI.2020.3005434Guo M.-H., Cai J.-X., Liu Z.-N., Mu T.-J., Martin R. R., Hu S.-M. PCT: Point Cloud Transformer // Computational Visual Media. 2021. Vol. 7, N 2. P. 187–199. DOI: 10.1007/s41095-021-0229-5.Guo M.-H., Cai J.-X., Liu Z.-N., Mu T.-J., Martin R.R., Hu S.-M. Computational Visual Media, 2021, no. 2(7), pp. 187– 199, DOI: 10.1007/s41095-021-0229-5.He Y., Sun W., Huang H., Liu J., Fan H., Sun J. PVN3D: A Deep Point-Wise 3D Keypoints Voting Network for 6DoF Pose Estimation // IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR). 2020. P. 11632–11641. DOI: 10.1109/CVPR42600.2020.01165.He Y., Sun W., Huang H., Liu J., Fan H., Sun J. IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR), 2020, рр. 11632–11641, DOI: 10.1109/CVPR42600.2020.01165.Cao H., Dirnberger L., Bernardini D., Piazza C., Caccamo M. 6IMPOSE: Bridging the Reality Gap in 6D Pose Estimation for Robotic Grasping // Frontiers in Robotics and AI. 2023. Vol. 10, аrt. 1176492. DOI: 10.3389/frobt.2023.1176492.Cao H., Dirnberger L., Bernardini D., Piazza C., Caccamo M. Frontiers in Robotics and AI, 2023, vol. 10, art. no. 1176492, DOI: 10.3389/frobt.2023.1176492.Zhang H., Tong J., Wei L., Zhang H., Chen J. Enhanced RGB-D Feature Extraction for 6D Pose Estimation // Scientific Reports. 2026. Vol. 16. DOI: 10.1038/s41598-025-34757-y.Zhang H., Tong J., Wei L., Zhang H., Chen J. Scientific Reports, 2026, vol. 16, DOI: 10.1038/s41598-025-34757-y.Nguyen V.-T., Do C.-D., Dang T.-V., Bui T.-L., Tan P. X. A Comprehensive RGB-D Dataset for 6D Pose Estimation for Industrial Robots Pick and Place: Creation and Real-World Validation // Results in Engineering. 2024. Vol. 24, art. 103459. DOI: 10.1016/j.rineng.2024.103459.Nguyen V.-T., Do C.-D., Dang T.-V., Bui T.-L., Tan P.X. A Results in Engineering, 2024, vol. 24, art. no. 103459, DOI: 10.1016/j.rineng.2024.103459.Bahri A., Yazdanpanah M., Noori M. et al. Spectral Informed Mamba for Robust Point Cloud Processing // IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR). 2025. DOI: 10.48550/arXiv.2503.04953.Bahri A., Yazdanpanah M., Noori M. et al. IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR), 2025, DOI: 10.48550/arXiv.2503.04953.Wang C., Ma C., Zhu M., Yang X. PointAugmenting: Cross-Modal Augmentation for 3D Object Detection // IEEE/ CVF Conf. on Computer Vision and Pattern Recognition (CVPR). 2021. P. 11794–11803. DOI: 10.1109/CVPR46437.2021.01162.Wang C., Ma C., Zhu M., Yang X. IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR), 2021, рр. 11794–11803, DOI: 10.1109/CVPR46437.2021.01162.Sapkota R., Roumeliotis K. I., Cheppally R. H., Flores Calero M., Karkee M. A Review of 3D Object Detection with Vision-Language Models // arXiv preprint. 2025. arXiv:2504.18738. DOI: 10.48550/arXiv.2504.18738.Sapkota R., Roumeliotis K. I., Cheppally R. H., Flores Calero M., Karkee M. arXiv preprint, 2025, arXiv:2504.18738, DOI: 10.48550/arXiv.2504.18738.Nie X., Liu Y., Chen S., Chang J., Huo C., Meng G., Tian Q., Hu W., Pan C. Differentiable Convolution Search for Point Cloud Processing // IEEE/CVF Intern. Conf. on Computer Vision (ICCV). 2021. P. 7437—7446. DOI: 10.1109/ICCV48922.2021.00734.Nie X., Liu Y., Chen S., Chang J., Huo C., Meng G., Tian Q., Hu W., Pan C. IEEE/CVF Intern. Conf. on Computer Vision (ICCV), 2021, рр. 7437–7446, DOI: 10.1109/ICCV48922.2021.00734.Wang X., Huang J., Song H. Robot-world and hand–eye calibration based on quaternion: A new method and an extension of classic methods, with their comparisons // Mechanism and Machine Theory. 2023. Vol. 179, art. 105127. DOI: 10.1016/j.mechmachtheory.2022.105127.Wang X., Huang J., Song H. Mechanism and Machine Theory, 2023, vol. 179, art. no. 105127, DOI: 10.1016/j.mechmachtheory.2022.105127.Lai K., Bo L., Ren X., Fox D. A Large-Scale Hierarchical Multi-View RGB-D Object Dataset // IEEE Intern. Conf. on Robotics and Automation (ICRA). 2011. P. 1817–1824. DOI: 10.1109/ICRA.2011.5980382.Lai K., Bo L., Ren X., Fox D. IEEE Intern. Conf. on Robotics and Automation (ICRA), 2011, рр. 1817–1824, DOI: 10.1109/ICRA.2011.5980382.Xu C.-D., Zhao X.-R., Jin X., Wei X.-S. Exploring Categorical Regularization for Domain Adaptive Object Detection // IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR). 2020. P. 11724–11733. DOI: 10.1109/CVPR42600.2020.01174.Xu C.-D., Zhao X.-R., Jin X., Wei X.-S. IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR), 2020, рр. 11724–11733, DOI: 10.1109/CVPR42600.2020.01174.Morrison D., Leitner J., Corke P. Closing the Loop for Robotic Grasping: A Real-time, Generative Grasp Synthesis Approach // Robotics: Science and Systems XIV (RSS). Pittsburgh, 2018. DOI: 10.15607/RSS.2018.XIV.021.Morrison D., Leitner J., Corke P. Robotics: Science and Systems XIV (RSS), Pittsburgh, 2018, DOI: 10.15607/RSS.2018.XIV.021.Meyes R., Lu M., Waubert de Puiseau C., Meisen T. Ablation Studies in Artificial Neural Networks // arXiv, 2019. DOI: 10.48550/arXiv.1901.08644.Meyes R., Lu M., Waubert de Puiseau C., Meisen T. arXiv, 2019. DOI: 10.48550/arXiv.1901.08644.

The authors declare that there are no conflicts of interest present.