CVPR 2021| 基于深度图匹配的鲁棒点云配准框架

Bryan_Jiang 3D视觉工坊 3/16

计算机视觉工坊

专注于计算机视觉、VSLAM、目标检测、语义分割、自动驾驶、深度学习、AI芯片、产品落地等技术干货及前沿paper分享。这是一个由多个大厂算法研究人员和知名高校博士创立的平台，我们坚持工坊精神，做最有价值的事~

108篇原创内容

Official Account

Robust Point Cloud Registration Framework Based on Deep Graph Matching代码地址：在公众号「3D视觉工坊」，后台回复「鲁棒点云」，即可直接下载。目前领域存在的问题：

现有的方法在异常值占比大和时间限制的情况下没有良好的变换初始化。
基于学习的方法对异常值很敏感，导致更多的不正确对应。

论文贡献：

首次提出利用深度图匹配来解决点云配准问题。图匹配不是仅仅利用每个点的特征，而是利用其他节点的特征和图的结构信息建立对应关系，从而更好地解决离群点的问题。
引入AIS模块来建立两个给定图的节点之间可靠的对应关系。AIS模块根据嵌入特征计算任意两个节点之间的亲和矩阵，通过全局分析亲和矩阵并利用Sinkhorn算法，可以有效减少错误通信的比例。
提出使用转换器生成软图边。在对局部点云进行配准时，利用转换器中的注意和共同注意机制，可以对重叠部分建立更好的对应关系。
方法在干净的、有噪声的、部分到部分数据集和看不见的类别数据集上实现了最先进的性能。

算法理论：

图1是作者提出的RGM的整体pipeline。RGM由四部分组成:局部特征提取器、边生成器、图形特征提取器和AIS模块以及LAP-SVD。

局部特征提取器

如果只使用局部特征来预测点云之间的对应关系，很容易得到不正确的对应关系，特别是在存在异常值的情况下，原因是局部特征不包含较大尺度上点云的结构信息(自相关)和两个点云之间的关联。受深度图匹配研究的启发，作者从点云中构造图并使用深度图匹配建立更好的对应关系。边生成器

图形特征提取器和AIS模块

实验部分：所有实验都在数据集ModelNet40上进行。作者随机抽样2,048点从网格面和重缩放点到一个单位球体。每个类别都包含正式的训练/测试分割。为了选择模型进行评估，作者分别以官方训练分割的80%和20%作为训练集和验证集，以官方测试分割进行测试。对于数据集中的每个对象，作者随机抽取1024个点作为源点云X，然后对X进行随机变换，得到目标点云Y，并打乱点顺序。对于应用的变换，作者随机抽样三个欧拉角范围[0,45]°旋转和三个位移范围[−0.5,0.5]沿每个轴的平移。作者使用6个评价指标，前4个是从估计的转换参数计算出来的，它们是RPM-Net中提出的R和t的平均各向同性误差(MIE)和DCP中使用的R和t的平均绝对误差(MAE)，它们是各向异性的。另外，作者提出了一个新的度量方法 CCD，它测量了两个点云之间的距离，计算方法如下:

作者首先评估干净点云上的配准性能。所有模型都在干净数据上进行训练和评估，表1显示了作者的方法及其同类方法的性能，获得了最好的性能，大大超过最强的基于学习的方法。此外，RGM的成功率达到了100%，其大部分误差指标接近于0，这是现有的其他方法无法达到的。为了评估对噪声的鲁棒性，从N(0,0.01)采样并剪切到[−0.05,0.05]的高斯噪声被独立地添加到干净点云中的每个点的坐标中。如表2所示很明显，作者的方法比最新的基于学习的方法和传统方法的准确率要高得多，并且方法的召回率接近100%。对于点云配准来说，部分到部分是最具挑战性的情况，它很重要，因为它经常发生在现实应用程序中。对于每个点云，作者创建一个独立通过原点的随机平面，沿着它的法线平移它，并保留70%的点。所有模型都是在部分到部分数据的基础上训练和评估的，结果如表3所示。该方法的准确率明显高于其他方法，成功率均在90%以上。为了测试每种方法对看不见的形状类别的泛化能力，作者将前20个类别的正式训练集和测试集分别作为训练集和验证集，并对后20个类别的正式测试集进行测试。其他实验设置与部分对部分实验相同。实验结果如表4所示。作者发现传统方法的性能并没有显著的改变。RPM-Net的泛化能力也很好，但显然作者的方法更有效。其他基于学习的方法不能很好地推广到看不见的类别。结论作者首次引入深度图匹配来解决点云配准问题，并提出了一种新颖的深度学习框架RGM，该框架实现了最先进的性能。作者提出了AIS模块来建立图节点之间的精确对应关系，从而大大提高了配准性能。此外，基于转换器的边生成器为图边的构建提供了一种新的思路，作者认为，深度图匹配方法有潜力用于其他的配准问题，包括2D-3D配准和变形配准。备注：作者也是我们「3D视觉从入门到精通」特邀嘉宾：一个超干货的3D视觉学习社区本文仅做学术分享，如有侵权，请联系删文。下载1在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。下载2在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。下载3在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

640?wx_fmt=jpeg

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近3000星球成员为创造更好的AI世界共同进步，知识星球入口：

CVPR 2021| 基于深度图匹配的鲁棒点云配准框架