Малик Мохрат — аспирант; факультет систем управления и робототехники
Санкт-Петербург
Malik Mohrat — Post-Graduate Student; Faculty of Control Systems and Robotics
St. Petersburg
Геннадий Константинович Сидоров — магистрантфакультет систем управления и робототехники
Санкт-Петербург
и робототехники; E-mail: gksidorov@itmo.ru
Gennady K. Sidorov — Graduate Student; IFaculty of Control Systems and Robotics
St. Petersburg
Денис Дмитриевич Гридусов — бакалавр; факультет систем управления и робототехники
Санкт-Петербург
Denis D. Gridusov — Bachelor Student; Faculty of Control Systems and Robotics
St. Petersburg
Сергей Алексеевич Колюбин — д-р техн. наук, профессор; факультет систем управления и робототехники
Санкт-Петербург
Sergey A. Kolyubin — Dr. Sci., Professor; ITMO University, Faculty of Control Systems and Robotics
St. Petersburg
Робастная визуальная локализация в реальных условиях остается сложной задачей, особенно в присутствии динамических объектов и временных дистракторов. Несмотря на то, что нейронные представления сцен, такие как 3D Gaussian Splatting (3DGS) и NeRF, обеспечивают компактное кодирование геометрии и внешнего вида сцены, они чувствительны к предположению о статичности мира из-за зависимости от фотометрической согласованности. Представлен робастный фреймворк визуальной локализации, использующий 3DGS с семантически-осведомленной маскировкой для повышения точности в динамических сценах. Предлагаемый подход основан на GSplatLoc и представляет собой двухэтапный конвейер: на первом этапе плотные и легковесные дескрипторы ключевых точек, полученные из сети XFeat, интегрируются в представление 3DGS, что позволяет эффективно выполнять 2D-3D сопоставление для грубой оценки позы. Для снижения влияния динамических дистракторов используются семантические маски, сгенерированные предварительно обученными диффузионными моделями, для исключения непоследовательных областей при построении 3D-сцены. На втором этапе начальная поза уточняется с использованием фотометрической функции выравнивания на основе рендеринга. Эксперименты на динамических наборах данных в помещениях и на открытом воздухе демонстрируют, что предложенный метод превосходит базовое решение в сложных динамических условиях.
Robust visual localization in real-world conditions remains a challenging task, particularly in the presence of dynamic objects and transient distractors. While neural scene representations such as 3D Gaussian Splatting (3DGS) or NeRF offer compact encoding of scene geometry and appearance, they are sensitive to static world assumption due to their reliance on photometric consistency. In this work, we present a robust visual localization framework that leverage 3DGS with semantic-aware masking strategy to improve accuracy in dynamic scenes. Our approach extends GSplatLoc, which is a two-stage pipeline: first integrate dense and lightweight keypoint descriptors from the XFeat network into the 3DGS representation, enabling efficient 2D-3D matching for coarse pose estimation. To mitigate the impact of dynamic distractors, we incorporate semantic masks generated from a classifier that utilizes a pre-trained diffusion model to exclude inconsistent regions during 3D modeling. In the second stage, the initial pose is refined using a rendering-based photometric alignment loss. Experiments on both indoor and outdoor dynamic benchmarks demonstrate that our method achieves superior performance compared to baseline method in challenging dynamic environments.
The authors declare that there are no conflicts of interest present.