CVPR2021|SpinNet：学习用于3D点云配准的通用表面描述符

CVPR2021|SpinNet：学习用于3D点云配准的通用表面描述符

SpinNet: Learning a General Surface Descriptor for 3D Point Cloud Registration

论文地址：在公众号「3D视觉工坊」，后台回复「SpinNet」，即可直接下载。

针对的问题：

现有的基于学习的局部描述符要么对旋转变换敏感，要么依赖于传统的手工特征，这些特征既不一般也不具有代表性。

论文的贡献：

1.作者提出了一种新的用于三维曲面匹配的神经特征学习方法。它具有旋转不变性、代表性，并且在看不见的场景中具有优越的泛化能力。

2.通过将转换后的三维曲面形成一个圆柱体，作者引入了一个强大的三维柱面卷积来学习丰富和一般的特征。

3.作者进行了大量的实验和消融研究，证明了方法的卓越泛化，。

算法理论：

图1 空间点转换器的详细组成和处理步骤

空间点的转换器

这个模块用来对输入进行空间转换，将三维表面转化为圆柱形体，克服旋转变化，同时不丢弃局部图案的关键信息。如图1所示，它由四个组件组成：与参考轴对齐、球形体素化、XY平面上的变换、圆柱体积公式。

总结来说，该方法若能给定一个输入局部表面，作者提出的空间点转换器能显式地将其z轴与参考轴对齐，并主动变换XY平面上的球状体素图案，通过圆柱形体积公式保护拓扑表面结构，该模块保留了所有的表面图案，供后续的神经特征提取器学习。

图2提出的神经特征提取器

神经特征提取器

这个模块对每个圆柱形体素内的转换点使用神经网络学习一般特征。如图2所示，它由点层和三维柱面卷积层组成。

实验部分：

作者首先在室内3DMatch数据集和室外KITTI数据集上评估了提出的SpinNet，然后，评估该方法在不同传感器获取的多个未见数据集中的泛化能力，最后，进行了广泛的消融研究。

首先是基于室内3DMatch数据集的实验。作者比较了SpinNet和其他基于强基线的算法 (包括LMVD，D3Feat, FCGF, PerfectMatch, PPFNet, PPF-FoldNet)，实验结果如下：

可以看出，作者提出的方法生成的描述子在原始数据集和旋转数据集上均获得了最高的平均FMR分数和最低的标准偏差，优于目前最先进的方法。

首先是基于户外KITTI数据集的实验。为了进行公平比较，作者遵循D3Feat中使用的数据集分割和预处理方法，相对而言以平动误差(RTE)、相对旋转误差(RRE)和成功率作为评价指标。实验结果如下：

相比之下, 所有基于强基线的算法，例如D3Feat、FCGF、3DMatch和CGF在ETH数据集上的性能都出现了明显的下降。与最初的结果相比，他们的FMR分数下降了80%

3DMatch数据集的性能甚至低于手工制作的描述符，如SHOT。从根本上说，这些方法的泛化效果不佳是由于D3Feat、FCGF和3DMatch学习到的描述符对于旋转、平移等刚性转换是不同的。而作者提出的SpinNet生成的描述符在所有四个场景中获得了最高的FMR分数，显著地超过了第二最佳方法(LMVD)约13%。

图3 SpinNet在不可见数据集上的定性结果。第一行是从3DMatch到ETH，第二行是从KITTI到3DMatch，第三行是从3DMatch到KITTI。

结论：

在本文中，作者提出了一种新的神经描述子来学习复杂三维曲面的紧凑表示。学习到的表示是旋转不变的，描述性的，并能够保持复杂的局部几何图案。大量的实验表明，该描述子在不可见场景中具有显著的泛化能力，在三维点云配准中取得了较好的效果。

备注：作者也是我们「3D视觉从入门到精通」特邀嘉宾：一个超干货的3D视觉学习社区本文仅做学术分享，如有侵权，请联系删文。下载1在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。下载2在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。下载3在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近3000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款 圈里有高质量教程资料、可答疑解惑、助你高效解决问题觉得有用，麻烦给个赞和在看~