本周较为重要的研究有 ：Quoc V. Le 和何恺明各自在 ImageNet 上的新研究以及在解决机器学习难题方面是可靠和有效的、基于梯度提升可扩展集合技术 XGBoost

1、Self-training with Noisy Student improves ImageNet classification

2、A Comparative Analysis of XGBoost

3、Momentum Contrast for Unsupervised Visual Representation Learning

4、Deep Learning for Stock Selection Based on High Frequency Price-Volume Data

论文 1：Self-training with Noisy Student improves ImageNet classification

• 作者：Qizhe Xie、Eduard Hovy、Minh-Thang Luong、Quoc V. Le

• 论文链接：https://arxiv.org/pdf/1911.04252.pdf

摘要：在本文中，研究者首先在标注的 ImageNet 图像上训练了一个 EfficientNet 模型，然后用这个模型作为老师在 3 亿无标签图像上生成伪标签。然后研究者训练了一个更大的 EfficientNet 作为学生模型，使用的数据则是正确标注图像和伪标注图像的混合数据。这一过程不断迭代，每个新的学生模型作为下一轮的老师模型，在生成伪标签的过程中，教师模型不会被噪声干扰，所以生成的伪标注会尽可能逼真。但是在学生模型训练的过程中，研究者对数据加入了噪声，使用了诸如数据增强、dropout、随机深度等方法，使得学生模型在从伪标签训练的过程中更加艰难。这一自训练模型，能够在 ImageNet 上达到 87.4% 的 top-1 精确度，这一结果比当前的 SOTA 模型表现提高了一个点。除此之外，该模型在 ImageNet 鲁棒性测试集上有更好的效果，它相比之前的 SOTA 模型能应对更多特殊情况。

推荐：ImageNet 上的图像分类模型似乎已经成熟，要达到新的 SOTA 已经非常难。但是，Quoc Le 等在本文中提出的 Noisy Student 方法在这一数据集上再次提高了 SOTA 性能一个点，而且这一方法让模型在鲁棒性上也有很大的提升。

论文 2：A Comparative Analysis of XGBoost

• 作者：Candice Bentéjac、Anna Csörgő、Gonzalo Martínez-Muñoz

• 论文链接：https://arxiv.org/pdf/1911.01914v1.pdf

摘要：XGBoost 是一项基于梯度提升可扩展集合技术，在解决机器学习难题方面是可靠和有效的。在本文中，研究者对这项新颖的技术如何在训练速度、泛化性能和参数设置方面发挥作用进行了实证分析。此外，通过精心调整模型和默认设置，研究者还对 XGBoost、随机森林和梯度提升展开了综合比较。结果表明，XGBoost 在所有情况下并不总是最佳选择。最后，他们还对 XGBoost 的参数调整过程进行了扩展分析。

推荐：通过对随机森林、梯度提升和 XGBoost 的综合比较，来自法国波尔多大学、匈牙利帕兹曼尼·彼得天主教大学以及马德里自治大学的三位研究者得出结论：从调查问题的数量看，梯度提升是最好的分类器，但默认参数设置下 XGBoost 和随机森林在平均排名（average rank）方面的差异不具备统计显著性。

论文 3：Momentum Contrast for Unsupervised Visual Representation Learning

• 作者：Kaiming He、Haoqi Fan、Yuxin Wu、Saining Xie、Ross Girshick

• 论文链接：https://arxiv.org/pdf/1911.05722.pdf

摘要：在无监督的视觉表征学习上，近来的一些研究通过使用对比损失（constrative loss）的方法取得了不错的效果。这些方法都可以被认为和动态词典（dynamic dictionary）相关。在词典中，键（token）是通过从数据（如图像等）中进行采样得到的，然后使用一个编码器网络转换为表征。无监督学习则训练编码器，用于词典的查找工作，即一个编码的「查询（query）」应该和与之匹配的键相似，与其他键不相似。这样的一个学习过程可以被构建为减少对比损失。在本次研究中，何恺明等研究者提出了一种名为动量对比（Momentum Contrast，简称 MoCo）的方法。这种方法旨在通过对比损失为无监督学习建立大型、一致的词典（如下图 1 所示）。研究者将词典维护为一个数据样本队列：当前 mini-batch 编码表征将进入队列，而最老的将退出队列。该队列将词典大小与 mini-batch 大小解耦，从而允许词典变大。此外，由于词典键来自前面的几个 mini-batch，因此研究者提出使用一个缓慢前进的键编码器，作为基于动量的查询编码器的移动平均值，以保持一致性。

推荐：Facebook AI 研究团队的何恺明等人提出了一种名为动量对比（MoCo）的无监督训练方法。在 7 个与检测和分割相关的下游任务中，MoCo 可以超越在 ImageNet 上的监督学习结果，在某些情况下其表现甚至大大超越后者。作者在摘要中写道：「这表明，在许多视觉任务中，无监督和监督表征学习之间的差距已经在很大程度上被消除了。」

来源：机器之心@微信公众号

推荐阅读：
CVPR2017 论文：使用 VTransE 网络进行视觉关系检测
CVPR 2017 论文：基于网格的运动统计，用于快速、超鲁棒的特征匹配（附大神解读）
不要错过！MICCAI 2019 所有论文完整下载

△ 关注极市平台
获得最新CV干货

微信公众号: 极市平台（ID: extrememart ）
每天推送最新CV干货