基于深度学习的三维场景几何约束相机定位

person 匿名

发布日期: 2021-07-15 07:55:10 浏览量: 90
评分:
star star star star star star star star star star_border
*转载请注明来自write-bug.com

3D Scene Geometry-Aware Constraint for Camera Localization with Deep Learning

摘要

摄像机定位是自动驾驶车辆和移动机器人全局定位的基础和关键组成部分,可用于进一步的环境感知、路径规划和运动控制。近年来,基于卷积神经网络的端到端方法被大量研究,以实现甚至超越基于三维几何的传统方法。在这项工作中,我们提出了一个紧凑的网络绝对相机位姿回归。从这些传统的方法中得到启发,利用所有可用的信息,包括运动、深度和图像内容,引入了三维场景几何感知约束。通过定义像素级光度损失和相机结构相似性损失,我们将这个约束作为正则化术语添加到我们提出的网络中。为了衡量我们的方法,我们用我们提出的方法和最新的技术在具有挑战性的不同场景,包括室内和室外环境中进行了测试。实验结果表明,该方法在预测精度和收敛效率方面都有显著提高。

算法

我们提出的3D场景几何感知约束下的摄像机定位的自监督深度学习的示意图表示。

Microsoft 7-Scene上的摄像头定位结果。从左到右,四个测试序列分别是头-01序列、火-04序列、南瓜-01序列、楼梯-01序列。这三个结果从上到下分别来自PoseNet[2]、MapNet[24]和我们的方法(绿色表示ground truth,红色表示prediction)。

牛津机器人汽车数据集原始彩色图像和深度图由激光雷达捕获。环路路由子集,总长度为1120m。

上传的附件
eject