IROS 2019 机器人挑战赛冠军方案：商业机器人如何应对真实环境中的诸多挑战？

近日，经过数月的线上开发竞赛后，Lifelong Robotic Vision 挑战赛在澳门 IROS 2019 大会上成功举办，多位机器人领域大咖到场参与特邀报告环节和圆桌讨论。

International Conference on Intelligent Robots and Systems (IROS) 是 IEEE/RSJ 组织的机器人和智能系统领域的旗舰会议，也是目前世界上规模最大的两个机器人领域会议之一（另一个是 ICRA）。今年的 IROS 于 11 月 3 日在我国澳门举办，为期 5 天，吸引了来自世界各地的 4000 多名学者参加。

Lifelong SLAM Challenge 是本次 IROS 中 Lifelong Robotic Vision Competition Workshop 的两个竞赛之一 (另一个为 Lifelong Object Recognition Challenge), 旨在挑战移动机器人在动态（Dynamic）和光照变化（Illuminate Variation）的环境中定位（Localization）和建图（Mapping）的能力。

该赛事自 7 月份上线以来，比赛吸引了来自全球数十只队伍参与，其中不乏北大，上海交大等实力强悍的科研团队加入赛事。在经过数月的算法比拼后，九号机器人旗下的 Segway Robotics 团队和上海交大决赛得分超过 90 分。在 11 月 4 日最终的角逐中，Segway Robotics 团队以名为《Wheel Odometer-Enhanced VINS with Map-Based Localization》的方法得到本届赛事冠军。来自上海交通大学和北京邮电大学的团队分获第二和第三名。

数据集介绍

本次比赛使用的数据集 OpenLORIS-Scene[1] 是由赛事组织方英特尔中国研究院和清华大学使用 Intel RealSense 传感器以及 Segway Robotics 团队的 Segway 配送机器人 S1 采集的。

如图，数据集提供的传感器数据如下：

• 来自 RealSense D435i 的 RGB 图像，深度（Depth）图像 和 惯性传感器（IMU）数据

• 来自 RealSense T265 的双目鱼眼（Fisheye）图像和 IMU 数据

• 来自 S1 机器人的底盘里程计（Odometer）的数据

OpenLORIS-Scene 数据集包含五个不同场景的数据，分别是超市（Market），咖啡店（Cafe），办公室（Office），长廊（Corridor）以及家庭（Home）。为了尽可能评估机器人在现实世界（Real-World）中同时定位和建图（SLAM）的能力。这五个场景都包含了不同时间段的多段数据。这些数据几乎涵盖了机器人在现实中运行的所面临的所有挑战：

1.视角变化（Viewpoint Changes）

来自 Office 数据集

2.场景改变（Environment Changes）

来自 Home 数据集

3.光照变化（Illumination Variation）

来自 Corridor 数据集

4.动态场景（Dynamic）和低光照（Low Illumination）

来自 Corridor 数据集

由于包含了以上真实世界中对机器人运行来说较为挑战的情景，OpenLORIS-Scene 相较于目前 SLAM 领域常用的数据集如 KITTI，EuRoC 和 TUM Visual-Inertial Datasets 更关注于商业机器人在真实的工作环境中的表现。因此，该数据集对 SLAM 算法的稳健性以及适应性提出了很高的要求。

评测指标

本次赛事主要测评 SLAM 算法两个另个重要指标：

1.正确定位率（Percentage of Correct Localization，简称 CR，占 60% 权重）：

SLAM 算法得到的机器人的 6 自由度位置姿态（6D Pose）与真值（Ground Truth，由组织方使用 Vicon 以及 2D 激光雷达提供）之间的误差小于某个阈值的个数占所以轨迹点的百分比。此项指标的意义在于，评估机器人定位算法的准确性。

2.重定位的正确率（Re-localization Score，简称 RS，占 40% 权重）：

其中 t0 是 SLAM 算法首次正确重定位的时间，tmin 是数据开始的时间。如果机器人首次重定位的位置错误（ATE，Absolute Trajectory Error 大于某个阈值），此项得分为零。此项指标的意义在于，检验机器人重定位算法在已有环境中重新定位的能力，越早的正确定位，会得到的越高的分数。

最终的得分是这两项成绩的加权平均，总分为 100 分。

值得一提的是，赛事的组织方在该数据集上测试了目前较为流行（State of the Art）的开源 SLAM 算法，包括 ORB-SLAM[2], VINS-Mono[3] 以及 ElasticFusion[4] 等。这些算法在各个分段数据上表现尚可，如下图。

但是，在需要在之前的数据中重新定位的情况下，这些算法的表现的就变得难以让人满意了。如下图：

这些算法的总分均低于 50 分。这也既说明了本数据集的挑战性，也说明了目前流行的开源算法不能满足机器人在真实环境中运行的需求。

方法和评估

方法介绍

本届赛事中，成绩较好的队伍多数采用目前现有的开源算法实现 SLAM 系统的前端（Front-End）和后端（Back-End）。为了应对上文中提到的真实环境中的挑战，各支队伍多采用基于深度学习的方法来提高 SLAM 算法重定位的性能。这也于近几年 SLAM 领域的发展方向相一致。

Segway Robotics 团队所使用的方法可以分为两个模块：

1. 实时定位模块（Real-Time Localization Module）

2. 地图管理模块（Map Management Module）

其中实时定位模块作为 SLAM 算法的前端，地图管理模块作为算法的后端。前端负责融合里程计增强的 VIO（Wheel Odomter-Enhanced VIO）得到的位置姿态与基于地图得到的位置姿态。同时，地图管理模块负责建立地图 (Map Builder) 以及合并地图 (Merge Map), 用以提高机器人重定位的信息。

其中，里程计增强的 VIO 相较于传统的 VIO（Visual Inertial Odometry）增加了轮子里程计的约束。这个改进一方面可以抑制地面机器人在平面做运动中出现的可观性（Observability）退化问题 [5]，另一方面也可以使得机器人在低光照和无纹理的环境中运行，如下图。

在系统中，我们使开发了基于深度学习方法的图像检索方法和特征点提取和描述算法来提高 SLAM 算法对于光照变化和大视角变化的健壮性。

来自夜晚的 Corridor 图像能够与来自白天的图像找到匹配

鲁棒的（Robust）特征点提取算法可以提高在大视角变化场景中的稳健性

评估

本方法在 OpenLORIS-Scene 数据集上评估的结果如下：

其中正确定位率得分为 94.6%，重定位分数为 93.4%，最终得分为 94.1%。

值得一提的是，Segway Robotics 团队在开发该系统时一直在使用自己的 Segway DRIVE benchmark[6] 来测评自己的方法。

该 benchmark 包含 Segway Robotics 团队在开发中积累的大量的真实商用场景的数据。

如图，其中包含的数据大多在时间上横跨数月。

在 Segway DRIVE benchmark 的测评中，Segway Robotics 团队的 SLAM 系统在时隔数月之后的地图中依然可以实现可观的重定位性能。

总结

我们的算法框架融合的多传感器信息，包括鱼眼相机，惯性测量器件以及底盘编码器，使定位算法更加稳定。同时，通过不断的优化地图和合并地图增加视觉感知的范围，提高机器人的重新定位 (Relocalization) 的概率。通过这次比赛，验证了算法的实时定位的性能，以及在大规模室内环境中建立一致地图的能力。

参考文献

[1] Xuesong Shi and Dongjiang Li and Pengpeng Zhao , et al. Are We Ready for Service Robots? The OpenLORIS-Scene Datasets for Lifelong SLAM[J]. arXiv preprint arXiv:1911.05603, 2019.

[2]Mur-Artal R, Tardós J D. Orb-slam2: An open-source slam system for monocular, stereo, and rgb-d cameras[J]. IEEE Transactions on Robotics, 2017, 33(5): 1255-1262.

[3] Qin T, Li P, Shen S. Vins-mono: A robust and versatile monocular visual-inertial state estimator[J]. IEEE Transactions on Robotics, 2018, 34(4): 1004-1020.

[4] Whelan T, Leutenegger S, Salas-Moreno R, et al. ElasticFusion: Dense SLAM without a pose graph[C]. Robotics: Science and Systems, 2015.

[5]Wu K J, Guo C X, Georgiou G, et al. Vins on wheels[C]//2017 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2017: 5155-5162.

[6]Huai J, Qin Y, Pang F, et al. Segway DRIVE Benchmark: Place Recognition and SLAM Data Collected by A Fleet of Delivery Robots[J]. arXiv preprint arXiv:1907.03424, 2019.

雷锋网 (公众号：雷锋网) 年度评选—— 寻找19大行业的最佳AI落地实践

创立于2017年的「AI最佳掘金案例年度榜单」，是业内首个人工智能商业案例评选活动。雷锋网从商用维度出发，寻找人工智能在各个行业的最佳落地实践。

第三届评选已正式启动，关注微信公众号“雷锋网”，回复关键词“榜单”参与报名。详情可咨询微信号：xqxq_xq

雷锋网雷锋网雷锋网

雷锋网版权文章，未经授权禁止转载。详情见 转载须知 。