视觉SLAM是一种基于视觉传感器的 SLAM 系统，与激光传感器相比，视觉传感器具有成本低、保留环境语义信息的优点，能够与深度学习进行大量结合。ORB-SLAM系列算法是视觉SLAM中具有最广泛关注与应用的算法。ORB-SLAM3是一个支持视觉、视觉+惯导、混合地图的SLAM系统，可以在单目、双目和RGB-D相机上利用针孔或者鱼眼模型运行。在大场景/小场景、室内/室外，ORB-SLAM3都能鲁棒地实时运行，被广泛应用于商业化产品中。

在学习ORB-SLAM3过程中，需要熟悉视觉SLAM的基本原理，吃透ORB-SLAM3算法原理和底层代码，懂得在实际工程中如何部署使用ORB-SLAM3。主要难点包括：

1. 熟悉关键帧、共视图、因子图等重要概念，掌握ORB特征提取和特征匹配算法；

2. 深入理解多视图几何方法，如对极几何、PnP以及ICP，理解IMU预积分的推导过程，并掌握视觉SLAM的运动变化与优化方法；

3. 深刻理解跟踪线程、局部建图线程、闭环与地图合并线程之间的算法逻辑关系，掌握ORB-SLAM3代码含义。

为此我们推出了ORB-SLAM3理论精讲与代码解析课程，从理论与工程角度帮助大家尽快入门进阶！

1. 从理论与工程角度系统性讲解ORB-SLAM3课程，详细讲解理论算法，代码精析；


2. 富有挑战性的作业习题，将加深你对ORB-SLAM3理论体系的理解，并能对进一步的工程落地和学术研究带来帮助；

3. 专属的学习交流群，可以与讲师，各大院校和企业的人才进行沟通交流，一起分析和讨论遇到的难题，促进能力快速提升；

4. 面向工程落地与学术研究的技术分享，满足学员的不同需求。

曾铂，博士毕业于电子科技大学，江苏省“双创博士”，前华为公司机器人顾问，中国计算机学会智能机器人专委会、计算机视觉专委会委员。

长期从事机器人导航、视觉SLAM、深度强化学习导航方面的研究工作， 在包括IEEE Transactions等SCI期刊和国际会议上发表多篇学术论文，出版机器人专著1项。同时担任IEEE TETCI、IEEE JAS、IROS、自动化学报等多个机器人SCI期刊和国际会议审稿人。

精通主流视觉SLAM算法和基于深度强化学习的视觉导航算法。本课程将详细讲解ORB-SLAM3算法原理及代码精析，帮助同学们掌握ORB-SLAM3，并对视觉SLAM更快入门和更深理解。

1. 掌握ORB-SLAM3基础理论及代码实现；

2. 真正动手使用ORB-SLAM，并知道结合具体应用场景对ORB-SLAM3算法进行改进；

3. 结合深度学习和深度强化学习，知道如何在学术方面对ORB-SLAM3进行算法改进；

4. 对视觉SLAM常见算法存在的优势与劣势、适应的场景有深刻的理解。

本课程暂定设置的作业内容包括如下（也会根据课程的推进，作业内容也会有所调整），希望所有学员在学完本门课程后，都能轻松解决如下问题。

作业1.  使用OpenCV实现ORB算法对图像的特征提取，并完成特征匹配；

作业2.  根据RANSAC计算并分解基础矩阵，求解相机位姿R，t，完成求解代码。

作业3.  深入理解IMU预积分和VIO的基本原理，手写主要的数学公式。

作业4.  多视图几何算法的公式推导与代码实现，如对极几何、PnP和ICP方法。

作业5.  利用公开数据集EuRoc和TUM-VI，完成ORB-SLAM3的部署，实现对数据集进行实时定位与建图；并根据数据集计算定位轨迹的均方差，验证ORB-SLAM3定位准确性。

1. 系统要求

Ubuntu16.04/18.04/20.04，win10/11，macOS，推荐安装Ubuntu18.04

2. 编程语言：C++

3. 基础要求：有一定C/C++编程基础，熟悉图像处理相关基础知识。