最新Uber ATG的轨迹预测方法LiRaNet介绍
source link: https://zhuanlan.zhihu.com/p/267953301
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
arXiv今年10月刚刚上传论文“LiRaNet: End-to-End Trajectory Prediction using Spatio-Temporal Radar Fusion“。
其特色在于，除了激光雷达和HD Map之外，该轨迹预测方法采用了雷达传感器的信息。雷达和激光雷达融合是有挑战性的，因为前者的低角分辨率缺陷，而且数据稀疏，和激光雷达同步也很难。为此，本文提出一个有效的时空雷达特征提取方法。
如图所示是雷达的挑战和益处的示意图：一个鸟瞰示例场景，其中当前、过去和将来帧中激光雷达点（浅蓝色）和雷达点速度（橙色）通过标签（白色）可视化。 车辆A是转弯公交车，在整个车架上有多个雷达点。 在空间和时间有效地组合这些信息，可以恢复完整的2D速度和转速。 车辆B显示出雷达固有的高位置噪声。 车辆C显示一个稀疏的激光雷达点情况，这时候时域隐式关联可能是一个挑战。 但是，C周围存在的雷达点可以为模型添加上下文信息，方便检测和预测轨迹。
融合多传感器的信息，可采用BEV格点，这里提出的是一个采用雷达数据学习BEV网格单元的时空特征方法。最后这些特征用于目标检测和预测的应用。
下图是LiRaNet纵览图：雷达特征提取网络（A）分两步从原始雷达点提取时空特征：（1）对于每帧，在BEV网格单元和雷达点之间创建一个图，用非刚性卷积学习空域特征，（2）这些空间特征在时域进一步融合，即沿通道维堆叠并使用MLP获得雷达特征体（feature volume）。 然后将此特征体与其他传感器的特征体融合，并馈入检测和未来轨迹预测的联合感知-预测网络（B）。 最后可以看到一个场景预测示例（C）。
雷达特征的计算如
激光雷达和HD Map的特征学习类似，其中HD Map表示为一个包括车道线几何信息的图像。
整个网络主干类似于以前Uber的工作，即CVPR论文【38】PnPNet。整个网络架构图如下所示：
如下是一些实验结果：
下表分析三个影响因素。
Recommend
-
54
-
20
大家好，今天我们主要介绍一下轨迹规划的探索和挑战，我主要从四个方面介绍: 轨迹规划的概念 决策 横向规划 纵向规划 轨迹规划的概念： 轨迹规划的核心就是...
-
38
背景 CVPR 2019 是机器视觉方向最重要的学术会议，本届大会共吸引了来自全世界各地共计 5160 篇论文，共接收 1294 篇论文，投稿数量和接受数量都创下了历史新高，其中与自动驾驶相关的论文、项目和展商也是扎堆亮相，成为本次...
-
31
CVPR2020 发表，在arXiv2020年2月已经上传。之前在arXiv看到过这篇文章，没有读过，最近有人提及，拿来仔细阅读。 作者也提供了...
-
14
首页 > 文章详情 机构调研最新轨迹！高毅、睿远、星石共同调研这家建材龙头 基金君 昨天17:51 尽管机构投资者四季度的具体持仓情况尚未揭晓，但从调研数据分析统计，也可以对...
-
23
总第434 篇 2021年 第004篇
-
13
2021年02月01日 作者: 炎亮 傅壮 德恒 冬淳 文章链接 1978字 4分钟阅读
-
7
厉害吗？小米汽车能够预测车辆轨迹！相关专利已公开 评论（4）
-
8
ViP3D: 通过3D智体query实现端到端视觉轨迹预测 作者：黄浴 2022-12-16 09:44:39 这项工作提出ViP3D，一种视觉轨迹预测流水线，利用原始视频的丰富信息预测场景中智体的未来轨迹。 ...
-
4
本文经自动驾驶之心公众号授权转载，转载请联系出处。轨迹预测近两年风头正猛，但大都聚焦于车辆轨迹预测方向，自动驾驶之心今天就为大家分享顶会NeurIPS上关于行人轨迹预测的算法—SHENet，在受限场景中人类的移动模式通常在一定程度上符合有限的规律。基于这...
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK