|
|
Title: QISO-SLAM: Object-oriented SLAM using Dual Quadrics as Landmarks based on Instance Segmentation
BibTex: （完整的BibTex）
@article{wang2023qiso,
title={QISO-SLAM: Object-oriented SLAM using Dual Quadrics as Landmarks based on Instance Segmentation},
author={Wang, Yutong and Xu, Bin and Fan, Wei and Xiang, Changle},
journal={IEEE Robotics and Automation Letters},
year={2023},
publisher={IEEE}
}
Motivations:
1. 当用视角变化不足的帧初始化对偶二次曲面时，初始化不可靠；利用一些先验知识来提高初始化鲁棒性，如对象尺寸和支撑平面，应用场景有限，因为在任意环境中有时无法获得先验知识。
Contributions:
1. 使用RGB-D数据对对偶二次曲面变量进行单帧初始化
2. 以实例分割的轮廓点为观测值，通过近似的几何误差建立基于二次曲面的SLAM的代价函数。
Methodology:
A. 基于实例分割的近似极大似然估计
为了在计算复杂度和精确解之间取得较好的折中，文章采用了[21]中提出的带协方差的近似极大似然估计代替代数距离或几何距离。
B. 系统概述
1. 对每一帧进行处理，提取对象投影的轮廓，并根据RGB-D观测初始化每一帧的位姿。利用Mask R-CNN和边界框检测并行预测对象掩码。对于每个实例掩码，通过基本轮廓检测方法提取轮廓点。
2. 每个2D实例通过计算重投影框和观测边界框之间的IoU，在构建的3D对象数据库中搜索其关联，然后通过边界框之间的形状相似性来验证结果。如果没有匹配的对象，则使用单帧的RGB-D数据初始化一个新对象。
3. 多步BA来不断提高定位和建图精度。此外采用validation gate去除异常值。
C. 基于分割点云的单帧椭球初始化
单帧初始化保持大的支撑平面假设，即选择图像中最主要的平面（地板、大桌子）。
平面法向量估计方法：同Z.Liao的工作Object-oriented SLAM using Quadrics and Symmetry Properties for Indoor Environments，即使用RANSAC算法在深度图中提取平面，并估计一个粗略的重力方向，以选择支撑平面。
直接使用实例掩码得到一个包含n个点的点云 P\in R^{n\times3} 的矩阵，一般只包含单个对象，因此不需要再对对象点云进行滤波。
利用3D点云在支撑平面及其法向量上的投影分别估计椭球的中心位置、方向和半径。
首先，通过点云投影在垂直于平面的Z轴上的最大值和最小值来估计椭球的高度 l_z 和中心 c_z 。 (n_z=n_s)
然后将点云投影到支撑平面上
根据从 P_\pi 中提取的2D点包围的最小面积估计一个旋转的矩形。方向量由 n_z 和2D旋转角度计算，定义 n_x和n_y
平行于矩形的长边和短边。对象中心位移量 c_x 和 c_y 通过 [n_x,n_y,n_z] 定义的旋转矩阵变换矩形的中心估计得
到。椭球轴长由矩形的长度 l_x 和宽度 l_y 决定。
D. BA
多步BA包括：相机位姿优化、估计对象的优化和基于帧的共视性的局部BA
对象优化：根据完整性定义了三组对象:1）Q1：不能使用多视图约束优化的对象，因为它们没有被至少三个不同的帧观测到；2）Q2：需要进一步优化的对象；3）Q3： 经过足够的次数优化(例如20次)后完全重建的对象。
假设所有观察到对象的帧 F_L 都已知，Q2中的对象通过最小化近似几何误差之和进行优化
相机位姿优化：当前帧f的状态向量为 X_f=[t_f,quat_f]^T 其中， t_f\in R^{1×3} 和 quat_f \in R^{1×4} ，表示f在世
界坐标系中的平移量和旋转四元数。
使用Q2和Q3中所有对象的参数优化当前帧的相机位姿：
局部BA：共视坐标系是具有相同观测值的坐标系
E. 离群点剔除
由于具有协方差的近似最大似然估计，可以在统计上拒绝实例的几个异常值轮廓点。
Experiments:
数据集：TUM RGB-D
1. 建图结果
度量标准：1)Center Distance：重建椭球的中心与ground truth对象之间的欧氏距离; 2)Volume Error：形状相似性，通过比较对象的体积; 3)投影椭圆和ground-truth边界框之间的平均2D IoU。
QISO-SLAM在Teddy序列上的体积误差比QuadricSLAM更大，这表明假设大部分轮廓点位于投影椭圆上的观测模型在实践中对少数特殊物体也可能无效。
2. TUM RGB-D SLAM结果
在大多数情况下，所有提出的基于二次曲面的对象SLAM都不能提高ORB-SLAM2的定位性能。原因是ORB-SLAM2提供的里程计已经准确，并且用对偶二次曲面建立的误差模型对于具有立方体和不规则形状的物体是不准确的。
QISO(F)：完整的QISO-SLAM
QISO(B)：将QISO-SLAM中的观测模型替换为QuadricSLAM 中带边界框的模型
QISO(P)：QISO-SLAM只在BA时执行对象和位姿优化
在Fr2_desk和Fr3_office的大部分序列中，Full QISO-SLAM的误差与RGB-D里程计相比降低了约2/3。相比之下，“QISO (B)”在一定程度上降低了RGB-D里程计的性能，而“QISO (P)”在超过一半的情况下提高了RGB-D里程计的性能。 |
|
发表于 2023-4-26 16:48:16