CVPR2020行人轨迹预测论文Social-STGCNN
source link: https://zhuanlan.zhihu.com/p/268950854
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
CVPR2020 发表，在arXiv2020年2月已经上传。之前在arXiv看到过这篇文章，没有读过，最近有人提及，拿来仔细阅读。
作者也提供了复现开源代码： abduallahmohamed/Social-STGCNN 。
Socia STGCNN不同于其他方法只是聚合各种学习的行人状态，而是对行人交互做图建模。其中提出一种kernel function把行人社交交互嵌入一个adjacency matrix。
这里ST-GCNN是以前提出的一种时空图卷积神经网络，即文中参考文献 (open source codes at yysijie/st-gcn )：
【27】Sijie Yan, Yuanjun Xiong, and Dahua Lin. Spatial temporal graph convolutional networks for skeleton-based action recognition . AAAI Conf. on AI, 2018.
其旨在解决基于骨架的人体动作识别问题。 可视化的时空图（ST graph）如图所示：其中蓝色点为人体关节点。
如图是ST-GCNN方法应用人体估计的流程图：最后一个是softMax分类器识别动作类型。
而推广到行人轨迹预测问题，ST-GCNN需要从时空图中提取空间和时间信息，创建合适的嵌入表示。 然后，对该嵌入进行操作，预测行人轨迹。如图是其工作的示意图：
这个问题自然描述成一个优化任务，输入是行人的观测位置（轨迹），输出是预测的轨迹。假设位置变量是符合双变量高斯分布的p_nt，而训练模型去最小化一个负似然函数，定义为：
Social STGCNN包括两部分，一是时空GCNN（ST-GCNN），另一个是时间外推CNN（TXP-CNN）。前者在行人轨迹图表示做时空卷积得到特征，后者用这些特征预测行人的轨迹。
为了对图中节点之间相互影响建模，作者提出一个kernel function计算的参数，作为加权adjacency matrix的元素，定义如下：
训练之前这个相邻矩阵需要归一化。
特征图的2D grid map定义的空间卷积（spatial convolution）计算为：
而图卷积定义为：
而时空卷积推广到时间域，即一组连续时刻的图。如图是social-STGCNN模型示意图：
给定T帧，构造图时空表示G =（V; A）。 然后，G通过时空图卷积神经网络（ST-GCNN）前进创建一个时空嵌入表示。 之后，TXP-CNN预测未来轨迹。 P是行人位置的维数，N是行人的数量，T是时间步数，^ P是从ST-GCNN来的嵌入维数。
得到ST-GCNN层的定义：
定义的两个测度，Average Displacement Error (ADE) 和 Final Displacement Error (FDE)如下：
另外，关于产生相邻矩阵元素的kernel函数定义有三个：最后一个性能最好。
一些实验结果比较见下表：
Recommend
-
142
加入极市 专业CV交流群，与 6000+来自腾讯，华为，百度，北大，清华，中科院 等名企名校视觉开发者互动交流！更有机会与 李开复老师 等大牛群内...
-
37
背景 CVPR 2019 是机器视觉方向最重要的学术会议，本届大会共吸引了来自全世界各地共计 5160 篇论文，共接收 1294 篇论文，投稿数量和接受数量都创下了历史新高，其中与自动驾驶相关的论文、项目和展商也是扎堆亮相，成为本次...
-
45
arXiv今年10月刚刚上传论文“LiRaNet: End-to-End Trajectory Prediction using Spatio-Temporal Radar Fusion“。 其特色在于，除...
-
12
CVPR2020 论文解读集锦【计算机视觉】【CVPR】 10个月前 ⋅...
-
16
CVPR2020 论文解读汇总 + 技术直播汇总（0728 更新中） 5个月前 ⋅...
-
44
本文为极市平台公众号编辑整理，未经授权，不得二次转载。 本周三，CVPR官方正式开放下载，极市第一时间将所有论文（共1467篇）进行了下载打包，详情见
-
11
多视图立体匹配论文分享 | Fast-MVSNet (CVPR2020) ...
-
12
CVPR2020 最全整理：论文汇总 / 代码 / 项目 / 论文解读（更新中）【计算机视觉】 1年前...
-
6
CVPR2020 最全整理：论文汇总 CVPR2020 最全整理：论文汇总 / 代码 / 项目 / 论文解读（更新中）【计算机视觉】精选 技术讨论 sophie · 发表于 2020-02-28 11:06:24 文章来源: 优质论文推荐 推荐阅读：
-
4
本文经自动驾驶之心公众号授权转载，转载请联系出处。轨迹预测近两年风头正猛，但大都聚焦于车辆轨迹预测方向，自动驾驶之心今天就为大家分享顶会NeurIPS上关于行人轨迹预测的算法—SHENet，在受限场景中人类的移动模式通常在一定程度上符合有限的规律。基于这...
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK