超全总结！视觉SLAM方案整理及硬件选型（附项目地址）
source link: https://mp.weixin.qq.com/s/hxcq_PZ8474f0I6zPxS7eA
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
超全总结！视觉SLAM方案整理及硬件选型（附项目地址）
编辑丨智东西公开课
本文已获CSDN博主「Mega_Li」授权发布，如需转载请与原作者联系。原文链接：https://blog.csdn.net/lwx309025167/article/details/80257549SLAM是机器人、自动驾驶等应用重要的基础技术，如果离开了SLAM，相当于人类失去了双眼。SLAM可分为激光SLAM和视觉SLAM，视觉SLAM主要是基于相机来完成环境的感知工作，相对而言，相机成本较低，容易放到商品硬件上，且图像信息丰富，因此视觉SLAM也备受关注。本文主要是对之前关于视觉SLAM方案和硬件选型调研的总结，文中有关的视频是从youtube上收集的，上传到了百度网盘，有需自取。网盘链接：https://pan.baidu.com/s/1-5B4q1rtL3XcCEIDzou0JA 密码：lfm1
SLAM的引入
1.1定义
SLAM 是 Simultaneous Localization and Mapping 的缩写，中文译作“同时定位与地图构建”。它是指搭载特定传感器的主体，在没有环境先验信息的情况下，于运动过程中建立环境的模型，同时估计自己的运动。如果这里的传感器主要为相机，那就称为“视觉 SLAM”。
1.2开发背景
图1-1 SLAM中建图的分类与作用
引入SLAM的主要目的如下：
1）建图。使用SLAM可在传感器具有良好表现的环境下建立精度较高的全局地图，建立好的地图会为后面的定位、导航等功能提供服务。
2）定位。视觉SLAM中可通过帧间数据匹配计算相机的相对变换，对应的就是机器人的位姿信息，不过该计算结果中存在累计误差的影响；利用SLAM建立的全局地图，通过相机采集到的环境信息与地图进行匹配可以减小累积误差的影响，获得更加精准的机器人位姿。
3）导航。如果我们建立的地图中包含了“哪些地方可以通过，哪些地方不能通过”的信息，那么我们可以以此实现机器人在地图中从某一起点到某一终点的路径规划与跟踪，并能够对地图中固定障碍物实现避障。但这对我们能够建立的地图有要求，需要是“稠密”地图。
02
视觉SLAM
2.1 经典视觉SLAM框架
SLAM至今已历经三十多年的研究，这里给出经典视觉SLAM框架，这个框架本身及其包含的算法已经基本定型，并且已经在许多视觉程序库和机器人程序库中提供。
图2-1 经典视觉SLAM框架
我们把整个视觉 SLAM 流程分为以下几步：
1）传感器信息读取。在视觉 SLAM 中主要为相机图像信息的读取和预处理。如果在机器人中，还可能有码盘、惯性传感器等信息的读取和同步。
2）视觉里程计 (Visual Odometry, VO)。视觉里程计任务是估算相邻图像间相机的运动，以及局部地图的样子，VO 又称为前端（Front End）。
3）后端优化（Optimization）。后端接受不同时刻视觉里程计测量的相机位姿，以及回环检测的信息，对它们进行优化，得到全局一致的轨迹和地图。由于接在 VO 之后，又称为后端（Back End）。
4）回环检测（Loop Closing）。回环检测判断机器人是否曾经到达过先前的位置。如果检测到回环，它会把信息提供给后端进行处理。
5）建图（Mapping）。它根据估计的轨迹，建立与任务要求对应的地图。
某些使用场合中，我们只截取SLAM的部分功能应用到实际场景中。举例来说只使用VO部分我们可以得到连续的相机相对运动信息，虽然该运动信息存在累计误差，但应用中对此要求不高甚至不做要求，譬如VR头显中计算头显设备运动时的位姿。
不过一般在机器人应用场景中，个人认为建图功能也是不可或缺的。因为前端包括后端优化得到的运动信息始终包含累积误差，该累积误差在SLAM中只能通过回环检测（机器人回到某一处曾经经过的地方且系统识别出来）或者与事先建立好的具有较高精度的全局地图匹配来消除。但是机器人在实际运动中，不能保证全局路径一定会有重叠处，也就是说在SLAM计算中很可能出现不存在回环的情况，此时累积误差只能通过与全局地图匹配来消除，因此SLAM的建图功能也不可或缺。
图2-2 回环检测消除累积误差
这一点在VINS开源项目（香港科技大学团队基于单目+IMU开发的开源SLAM方案）中的测试视频（见“视频/VINS/[Open Source] VINS-Mono_ Monocular Visual-Inertial System in EuRoC MAV Dataset (MH_05 V1_03).mp4”）中也有体现。在回环检测前，SLAM计算得到的位姿与真实位姿之间已经产生了很大的偏差，如图2-3所示；该偏差只有在相机回到了曾经经过的地方且SLAM成功执行了回环检测后才得到了消除，如图2-4所示。
图2-3 未进行回环检测前的位姿累积误差
图2-4 回环检测消除累计误差
2.2视觉SLAM方案的分类
视觉SLAM方案可按照传感器的不同（单目、双目、RGBD、与IMU的组合等）、前端方法的不同（主要分为直接法和特征点法）、后端优化方案的不同（滤波或者非线性优化）、生成地图形式的不同（稀疏地图、稠密地图等）具有不同的划分。这里主要以传感器的不同对slam方案进行简单的介绍。
1）单目slam。只使用一个摄像头采集信息，在尺度完成初始化的情况下（即相机初始阶段进行了一段位移且确定了该段位移的实际大小作为参考），能够完成连续图像间相机位姿的计算与建图。优点在于设备简单，成本低。缺点在于存在尺度漂移现象；图像的深度信息只能通过三角测量计算得到，对环境适应性差；在相机位移较小时计算误差较大，建图精度不高。
2）双目slam。使用双目相机采集信息，双目相机可以通过立体视觉原理计算得到像素深度，这样就不存在单目slam中深度未知的情况。优点在于对环境的适应性要高于单目slam，且能够计算得到像素真实深度；缺点在于像素深度计算量较大，一般通过FPGA或者GPU加速实现实时计算输出。
3）RGBD SLAM。RGBD相机是指能够同时输出RGB图像和对应的深度图的相机，其测量像素深度不再通过耗时的被动双目匹配计算，而是通过激光散斑增加图像纹理加速计算或者硬件测量（结构光、TOF等）实现。因此它可以看做减小了计算量的双目SLAM，但是RGBD相机普遍在室外表现效果不佳，更多用于室内环境。
4）近年来有学者提出单目/双目+IMU的slam方案，其中IMU主要起到的作用包括（1）解决单目slam的初始化尺度问题（2）追踪中提供较好的初始位姿（3）提供重力方向（4）提供一个时间误差项以供优化。理论上来说IMU提供了冗余的运动信息，通过数据融合可以得到更加精确的运动估计。
从实现难度上来看：单目SLAM>双目SLAM>RGBD SLAM。
2.3 开源视觉SLAM方案汇总
目前比较流行的开源视觉SLAM方案如表2-1所示：
表2-1 开源SLAM方案汇总
03
视觉SLAM设备选型
图3-14 MYNT-EYE室内深度测试效果5）价格：天猫¥1999.00现在对以上几款设备进行一个信息的对比整理，如表3-1所示。
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近3000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题觉得有用，麻烦给个赞和在看~
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK