Многоракурсная 3D-реконструкция сцены с адаптивной фильтрацией для роботизированного захвата на платформе Jetson Nano

Представлен процесс создания интегрированной системы высокоточного автономного захвата объектов промышленным роботом ABB IRB 140 на основе RGB-D-восприятия и методов глубокого обучения. Предложена полнофункциональная система реального времени для ресурсно-ограниченной платформы NVIDIA Jetson Nano, объединяющая многоракурсную 3D-реконструкцию сцены с исключением центральной зоны повышенной погрешности, адаптивную обработку глубинных данных и нейросетевую детекцию объектов на базе YOLOv3. Разработан алгоритм слияния облаков точек с взвешенным усреднением в воксельном представлении и адаптивной фильтрацией по конфигурации манипулятора; проведено абляционное исследование вклада маски центральной зоны, многоракурсного усреднения и адаптивной фильтрации в итоговую точность захвата. Система достигает точности захвата 97,96 % при среднем времени цикла 4,2 ± 0,8 с для упорядоченной укладки и 94,74 % при 6,8 ± 1,5 с для неупорядоченной кипы при средней ошибке локализации 2,3 ± 1,5 см. Достоверность результатов подтверждена статистическим анализом и сравнением с методами 6IMPOSE, PVN3D+ и GG-CNN. Показано преимущество предложенного подхода по точности захвата и устойчивости к окклюзиям при сопоставимом времени обработки. Полученные результаты демонстрируют практическую применимость системы для автономного манипулирования в производственных средах с частичной окклюзией и вариативной геометрией сцены.

1. Lee Y. Three-Dimensional Dense Reconstruction: A Review of Algorithms and Datasets // Sensors. 2024. Vol. 24, N 18, аrt. 5861. DOI: 10.3390/s24185861.

2. Zhu J., Gao C., Sun Q. et al. A Survey of Indoor 3D Reconstruction Based on RGB-D Cameras // IEEE Access. 2024. Vol. 12. DOI: 10.1109/ACCESS.2024.3443065.

3. Guo Y., Wang H., Hu Q., Liu H., Liu L., Bennamoun M. Deep Learning for 3D Point Clouds: A Survey // IEEE Trans. on Pattern Analysis and Machine Intelligence. 2021. Vol. 43, N 12. P. 4338–4364. DOI: 10.1109/TPAMI.2020.3005434.

4. Guo M.-H., Cai J.-X., Liu Z.-N., Mu T.-J., Martin R. R., Hu S.-M. PCT: Point Cloud Transformer // Computational Visual Media. 2021. Vol. 7, N 2. P. 187–199. DOI: 10.1007/s41095-021-0229-5.

5. He Y., Sun W., Huang H., Liu J., Fan H., Sun J. PVN3D: A Deep Point-Wise 3D Keypoints Voting Network for 6DoF Pose Estimation // IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR). 2020. P. 11632–11641. DOI: 10.1109/CVPR42600.2020.01165.

6. Cao H., Dirnberger L., Bernardini D., Piazza C., Caccamo M. 6IMPOSE: Bridging the Reality Gap in 6D Pose Estimation for Robotic Grasping // Frontiers in Robotics and AI. 2023. Vol. 10, аrt. 1176492. DOI: 10.3389/frobt.2023.1176492.

7. Zhang H., Tong J., Wei L., Zhang H., Chen J. Enhanced RGB-D Feature Extraction for 6D Pose Estimation // Scientific Reports. 2026. Vol. 16. DOI: 10.1038/s41598-025-34757-y.

8. Nguyen V.-T., Do C.-D., Dang T.-V., Bui T.-L., Tan P. X. A Comprehensive RGB-D Dataset for 6D Pose Estimation for Industrial Robots Pick and Place: Creation and Real-World Validation // Results in Engineering. 2024. Vol. 24, art. 103459. DOI: 10.1016/j.rineng.2024.103459.

9. Bahri A., Yazdanpanah M., Noori M. et al. Spectral Informed Mamba for Robust Point Cloud Processing // IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR). 2025. DOI: 10.48550/arXiv.2503.04953.

10. Wang C., Ma C., Zhu M., Yang X. PointAugmenting: Cross-Modal Augmentation for 3D Object Detection // IEEE/ CVF Conf. on Computer Vision and Pattern Recognition (CVPR). 2021. P. 11794–11803. DOI: 10.1109/CVPR46437.2021.01162.

11. Sapkota R., Roumeliotis K. I., Cheppally R. H., Flores Calero M., Karkee M. A Review of 3D Object Detection with Vision-Language Models // arXiv preprint. 2025. arXiv:2504.18738. DOI: 10.48550/arXiv.2504.18738.

12. Nie X., Liu Y., Chen S., Chang J., Huo C., Meng G., Tian Q., Hu W., Pan C. Differentiable Convolution Search for Point Cloud Processing // IEEE/CVF Intern. Conf. on Computer Vision (ICCV). 2021. P. 7437—7446. DOI: 10.1109/ICCV48922.2021.00734.

13. Wang X., Huang J., Song H. Robot-world and hand–eye calibration based on quaternion: A new method and an extension of classic methods, with their comparisons // Mechanism and Machine Theory. 2023. Vol. 179, art. 105127. DOI: 10.1016/j.mechmachtheory.2022.105127.

14. Lai K., Bo L., Ren X., Fox D. A Large-Scale Hierarchical Multi-View RGB-D Object Dataset // IEEE Intern. Conf. on Robotics and Automation (ICRA). 2011. P. 1817–1824. DOI: 10.1109/ICRA.2011.5980382.

15. Xu C.-D., Zhao X.-R., Jin X., Wei X.-S. Exploring Categorical Regularization for Domain Adaptive Object Detection // IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR). 2020. P. 11724–11733. DOI: 10.1109/CVPR42600.2020.01174.

16. Morrison D., Leitner J., Corke P. Closing the Loop for Robotic Grasping: A Real-time, Generative Grasp Synthesis Approach // Robotics: Science and Systems XIV (RSS). Pittsburgh, 2018. DOI: 10.15607/RSS.2018.XIV.021.

17. Meyes R., Lu M., Waubert de Puiseau C., Meisen T. Ablation Studies in Artificial Neural Networks // arXiv, 2019. DOI: 10.48550/arXiv.1901.08644.