一篇Ibeo、ETH和斯坦福大学讨论感知OOD数据问题的论文

arXiv2020年11月上传的、作者来自Ibeo、ETH和斯坦福大学的论文：“Out-of-Distribution Detection for Automotive Perception“。

其中主要讨论NN的目标识别任务， Out-of-Distribution （OOD）数据是NN的失败之一，检测OOD对 系统安全性 至关重要。一般NN采用softMax normalize计算confidence score，但对OOD不适用。这里采用的 基于不确定性方法 是auxiliary training （GAN）和 post hoc statistics结合，简单有效地检测OOD。这种方法不需要在训练的时候提供OOD数据，也不增加推理计算成本/时间。

这个方法的概述图见如下：这里a-）是分类器和辅助GAN训练，包括Din的处理和Dout生成，b-）是事后Din的统计。推理中Dout分类基于这些分布的距离门限。

辅助GAN训练这一点是从下面参考文献借鉴的：

[23] K. Lee, H. Lee, K. Lee, and J. Shin, “ Training confidence-calibrated classifiers for detecting out-of-distribution samples ,” International Conference on Learning Representations (ICLR), 2018.

该文献给出的一个不同ODD训练数据下的分类器表现图：

其中 产生OOD样本的空间(a) 2D box [−50, 50]^2, 对应的(b) 分类器 decision boundary；而产生OOD样本的空间 (c) 2D box [−20, 20]^2，对应的 (d) 分类器 decision boundary。

改进如图的鉴别器：

还有这个生成器：

而主要的贡献是推广使用事后统计方法，其参考的方法是如下文献：

[20] K. Lee, K. Lee, H. Lee, and J. Shin, “ A simple unified framework for detecting out-of-distribution samples and adversarial attacks ,” in Advances in Neural Information Processing Systems (NeurIPS), 2018, pp. 7167–7177.

其方法是，根据训练数据在网络瓶颈层的权重，计算类条件高斯分布的参数。据说，类条件高斯分布是对预训练特征分布建模的合理选择。

GAN的训练伪代码如下：

其中D和G的损失函数定义为：

而分类器的损失函数为

事后网络统计：首先是cosine similarity measure，

以及马氏-距离：

该距离需要计算confidence，基于chi-square分布。

实验中，Din采用softMax normalize的数据集是CIFAR10，Dout的GAN方法采用数据集Tiny ImageNet和LSUN。检测OOD的数据集是KITTI和nuScenes，前者针对Car、Truck、Cyclist和Pedestrian类，后者的目标类较多，是Barrier、Bicycle、Bus、Car、Construction Vehicle、Bike、Officer、Cone、Trailer和Truck等。

实验结果见以下表：