CVPR2020行人轨迹预测论文Social-STGCNN

CVPR2020 发表，在arXiv2020年2月已经上传。之前在arXiv看到过这篇文章，没有读过，最近有人提及，拿来仔细阅读。

作者也提供了复现开源代码： abduallahmohamed/Social-STGCNN 。

Socia STGCNN不同于其他方法只是聚合各种学习的行人状态，而是对行人交互做图建模。其中提出一种kernel function把行人社交交互嵌入一个adjacency matrix。

这里ST-GCNN是以前提出的一种时空图卷积神经网络，即文中参考文献 (open source codes at yysijie/st-gcn )：

【27】Sijie Yan, Yuanjun Xiong, and Dahua Lin. Spatial temporal graph convolutional networks for skeleton-based action recognition . AAAI Conf. on AI, 2018.

其旨在解决基于骨架的人体动作识别问题。 可视化的时空图（ST graph）如图所示：其中蓝色点为人体关节点。

如图是ST-GCNN方法应用人体估计的流程图：最后一个是softMax分类器识别动作类型。

而推广到行人轨迹预测问题，ST-GCNN需要从时空图中提取空间和时间信息，创建合适的嵌入表示。 然后，对该嵌入进行操作，预测行人轨迹。如图是其工作的示意图：

这个问题自然描述成一个优化任务，输入是行人的观测位置（轨迹），输出是预测的轨迹。假设位置变量是符合双变量高斯分布的p_nt，而训练模型去最小化一个负似然函数，定义为：

Social STGCNN包括两部分，一是时空GCNN（ST-GCNN），另一个是时间外推CNN（TXP-CNN）。前者在行人轨迹图表示做时空卷积得到特征，后者用这些特征预测行人的轨迹。

为了对图中节点之间相互影响建模，作者提出一个kernel function计算的参数，作为加权adjacency matrix的元素，定义如下：

训练之前这个相邻矩阵需要归一化。

特征图的2D grid map定义的空间卷积（spatial convolution）计算为：

而图卷积定义为：

而时空卷积推广到时间域，即一组连续时刻的图。如图是social-STGCNN模型示意图：

给定T帧，构造图时空表示G =（V; A）。 然后，G通过时空图卷积神经网络（ST-GCNN）前进创建一个时空嵌入表示。 之后，TXP-CNN预测未来轨迹。 P是行人位置的维数，N是行人的数量，T是时间步数，^ P是从ST-GCNN来的嵌入维数。

得到ST-GCNN层的定义：

定义的两个测度，Average Displacement Error (ADE) 和 Final Displacement Error (FDE)如下：

另外，关于产生相邻矩阵元素的kernel函数定义有三个：最后一个性能最好。

一些实验结果比较见下表：