Объектно-центрическое картографирование динамического окружения с использованием фундаментальных моделей

Для того чтобы агенты могли ориентироваться в пространстве, необходимо использовать их объектно-ориентированные трехмерные представления, сохраняющие согласованность во времени по мере поступления новых кадров с бортовых камер. Традиционные методы либо используют откалиброванные RGBD-данные с эталонной глубиной, либо характеризуются недостаточной модульностью из-за тесной интеграции с внутренними представлениями фундаментальных моделей. Предложен метод онлайн-картографирования динамического окружения, позволяющий преодолеть отмеченные недостатки и не требующий дополнительного обучения. Метод объединяет показатели пространственного перекрытия, смещения 3D-центроидов и визуальносемантического сходства в единую целевую функцию. Показано, что эти компоненты целевой функции дополняют друг друга, так как визуальная идентификация неоднозначна при наличии пространственно разнесенных объектах одного класса, в то время как геометрические данные ненадежны для различных объектов, находящихся в смежных локациях. Отслеживание объектов в динамичной сцене осуществляется путем агрегирования оценок во времени, модулируемого наличием объекта в поле зрения. Испытания на наборах данных ScanNet200 и Replica подтвердили конкурентоспособность разработанного метода. Качественная оценка на данных Aria Digital Twin продемонстрировала устойчивость идентификации объектов в условиях значительных смещений и оптических перекрытий.

1. Zhang J., Dai L., Meng F., Fan Q. et al. CVPR, 2023, рр. 6672–6682, DOI:10.1109/CVPR52729.2023.00645.

2. Mur-Artal R.L, Tard’os J.D. IEEE Transactions on Robotics, 2017, no. 5(33), pp. 1255–1262.

3. Kirillov A., Mintun E., Ravi N., Mao H. et al. ICCV, 2023, рр. 4015–4026, DOI: 10.1109/ICCV51070.2023.00371.

4. Oquab M., Darcet T., Moutakanni T., Vo H.V. et al. Transactions on Machine Learning Research, 2024, vol. 2024, https://openreview.net/pdf?id=a68SUt6zFt.

5. Radford A., Kim J.W., Hallacy Ch., Ramesh A. et al. ICML, 2021, рр. 8748–8763, https://dblp.org/rec/conf/icml/RadfordKHRGASAM21.html.

6. Wang Sh., Leroy V., Cabon Y., Chidlovskii B. et al. CVPR, 2024, рр. 20697–20709, DOI: 10.1109/CVPR52733.2024.01956.

7. Zhang J., Herrmann Ch., Hur J., Jampani V. et al. ICLR, 2025, https://openreview.net/pdf?id=lJpqxFgWCM.

8. Wojke N., Bewley A., Paulus D. ICIP, 2017, рр. 3645–3649, DOI: 10.1109/ICIP.2017.8296962.

9. Du Zh., Danier D., Lenssen J.E, Bilen H. arXiv preprint arXiv:2512.15577, 2025.

10. Tang Y., Zhang J., Lan Y., Guo Y. et al. arXiv:2503.01309v3 [cs.CV], 2025, DOI:10.48550/arXiv.2503.01309.

11. Sun Y.-C., Tseng Y.-H., Ho Y.-H., Liu Y.-L. arXiv preprint arXiv:2601.08831, 2025.

12. Kuhn H.W. Naval Research Logistics Quarterly, 1955, no. 1–2(2), pp. 83–97.

13. Ravi N., Gabeur V., Hu Y.-T., Hu R. et al. arXiv preprint arXiv:2408.00714, 2024.

14. Cheng H.K., Cho S.W., Schwing A.G. arXiv preprint arXiv:2410.16268, 2024.

15. Videnović J., Kristan M. & Lukežič A. International Journal of Computer Vision, 2026, vol. 134, art. no. 211, https://doi.org/10.1007/s11263-026-02790-7.

16. Zhang Ch., Han D., Zheng Sh., Choi J. et al. arXiv preprint arXiv:2312.09579, 2023.

17. Yang Y., Wu X., He T., Zhao H. et al. arXiv:2306.03908v1 [cs.CV], 2023, https://doi.org/10.48550/arXiv.2306.03908.

18. Johnson J., Douze M., Jegou H. IEEE Transactions on Big Data, 2021, no. 3(7), pp. 535–547.

19. Bewley A., Ge Z., Ott L., Ramos F. and Upcroft B. 2016 IEEE International Conference on Image Processing (ICIP), Phoenix, AZ, USA, 2016, pp. 3464–3468, DOI: 10.1109/ICIP.2016.7533003.

20. Wen B., Yang W., Kautz J. and Birchfield S. 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 2024, pp. 17868–17879, DOI: 10.1109/CVPR52733.2024.01692.

21. Lu Sh., Chang H., Jing E.P., Boularias A. et al. CoRL, 2023, рр. 1610–1620, https://proceedings.mlr.press/v229/lu23a/lu23a.pdf.

22. Xu X., Chen H., Zhao L., Wang Zh. et al. arXiv:2408.11811v3 [cs.CV], 2025, https://arxiv.org/html/2408.11811v3.

23. Ester M., Kriegel H.-P., Sander J., Xu X. KDD, 1996, рр. 226–231, https://www.cs.sfu.ca/~ester/papers/kdd_96.pdf.

24. Rozenberszki D., Litany O., Dai A. Computer Vision – ECCV 2022, Lecture Notes in Computer Science, Springer, Cham, 2022, vol. 13693, https://doi.org/10.1007/978-3-031-19827-4_8.

25. Yan M., Zhang J., Zhu Y., Wang H. CVPR, 2024, рр. 28274–28284, DOI: 10.1109/CVPR52733.2024.02671.

26. Straub J., Whelan Th., Ma L., Chen Y. et al. arXiv preprint arXiv:1906.05797, 2019.

27. Pan X., Charron N., Yang Y., Peters S. et al. ICCV, 2023, рр. 20133–20143, DOI:10.1109/ICCV51070.2023.01842.