本周的重要论文有 Bengio 参与、LeCun 点赞的开源图神经网络权威基准，以及 Nature 新研究中摄像头充当神经网络，速度超传统方法千倍。

目录：

1. SLIDE : IN DEFENSE OF SMART ALGORITHMS OVER HARDWARE ACCELERATION FOR LARGE-SCALE DEEP LEARNING SYSTEMS

2. SLIDE : IN DEFENSE OF SMART ALGORITHMS OVER HARDWARE ACCELERATION FOR LARGE-SCALE DEEP LEARNING SYSTEMS

3. Knowledge Graphs

4. Ultrafast machine vision with 2D material neural network image sensors

5. DefogGAN: Predicting Hidden Information in the StarCraft Fog of War with Generative Adversarial Nets

6. Inverse Graphics GAN: Learning to Generate 3D Shapes from Unstructured 2D Data

论文 1：Benchmarking Graph Neural Networks

• 作者：Vijay Prakash Dwivedi、Chaitanya K. Joshi、Yoshua Bengio 等

• 论文链接：https://arxiv.org/pdf/2003.00982.pdf

摘要：近期的大量研究已经让我们看到了图神经网络模型（GNN）的强大潜力，很多研究团队都在不断改进和构建基础模块。但大多数研究使用的数据集都很小，如 Cora 和 TU。在这种情况下，即使是非图神经网络的性能也是可观的。如果进行进一步的比较，使用中等大小的数据集，图神经网络的优势才能显现出来。

在斯坦福图神经网络大牛 Jure 等人发布《Open Graph Benchmark》之后，又一个旨在构建「图神经网络的 ImageNet」的研究出现了。近日，来自南洋理工大学、洛约拉马利蒙特大学、蒙特利尔大学和 MILA 等机构的论文被提交到了论文预印版平台上，在该研究中，作者一次引入了六个中等大小的基准数据集（12k-70k 图，8-500 节点），并对一些有代表性的图神经网络进行了测试。除了只用节点特征的基准线模型之外，图神经网络分成带或不带对边对注意力两大类。GNN 研究社区一直在寻求一个共同的基准以对新模型的能力进行评测，这一工具或许可以让我们实现目标。

表 1：提议基准数据集的汇总统计信息。

示例图和超像素图。SLIC 的超像素图（其中 MNIST 最多 75 节点，CIFAR10 最多 150 节点）是欧几里得空间中的 8 个最近邻图形，节点颜色表示平均像素强度。

推荐：这一新的研究有深度学习先驱 Yoshua Bengio 的参与，也得到了 Yann LeCun 的关注。

论文 2：SLIDE : IN DEFENSE OF SMART ALGORITHMS OVER HARDWARE ACCELERATION FOR LARGE-SCALE DEEP LEARNING SYSTEMS

• 作者：Beidi Chen、Tharun Medini、Anshumali Shrivastava 等

• 论文链接：https://www.cs.rice.edu/~as143/Papers/SLIDE\_MLSys.pdf

摘要：深度学习模型的训练和推理加速近来是研究领域关注的重点。虽然普遍观点认为，GPU 相比 CPU 有更强的算力优势。但在近日，莱斯大学的计算机科学家们公布了新的研究成果，其提出的深度学习框架，在大型工业级的推荐数据集上验证了在没有类似于 GPU 的专业硬件加速条件下，也可以对深度学习进行加速。

在论文中，研究者指出，尽管已有的研究表明，在算法端对模型进行优化无法显示出如同 V100 GPU 那样强大的性能提升，但是他们提出的 SLIDE 引擎却可以实现。这一模型可以显著地减少训练和推理阶段的运算，比在 GPU 上 经过 TensorFlow 高度优化过的算法还要快。

局部敏感哈希的图示。对于一个输入，可以从对应的哈希桶中抽取哈希码。

SLIDE 系统架构。

TF-CPU 与 SLIDE 之间的可扩展性测试，很明显 SLIDE 要强很多。

推荐：这篇论文的亮点在于，即使只验证了全连接网络，但至少说明高性能 CPU 真的能满足大模型的训练，能大量降低硬件成本。

论文 3：Knowledge Graphs

• 作者：AIDAN HOGAN、EVA BLOMQVIST、ANTOINE ZIMMERMANN 等

• 论文链接：https://arxiv.org/pdf/2003.02320.pdf

摘要：近来知识图谱在需要利用多样化、动态和大规模数据集的诸多场景中吸引了工业界和学术界的注意，在本文中，研究者们对知识图谱做了综述性介绍。在总体介绍之后，他们对用于知识图谱的图数据模型和查询语言进行了对比，探讨了知识图谱中模式、标识和语境的作用。然后研究者解释了如何结合演绎和归纳方法来表征和提取知识，并对知识图谱的创建、丰富、质量评估、精细化和发布方法进行总结。最后，他们综述了著名的公开知识图谱和企业知识图谱以及它们的应用，并展望了知识图谱未来的高级别研究方向。

包含两个命名图以及默认图描述事件和路径的图数据集。

推荐：这篇长达 130 页的知识图谱综述论文可以让读者总览所有相关知识图谱的信息。

论文 4：Ultrafast machine vision with 2D material neural network image sensors

• 作者：Lukas Mennel、Joanna Symonowicz、Thomas Mueller 等

• 论文链接：https://www.nature.com/articles/s41586-020-2038-x

摘要：对于计算机视觉，镜头是它的眼睛，获取丰富的视觉信息后就可以传递给处理单元，并依靠它实现各种视觉能力。这是 CV 最常规的范式，也最符合我们的直觉，但是你会发现有两大问题。首先，从镜头传递信息给处理单元，这一步并不简单，尤其是在使用云计算的情况下，这都怪视觉信息太丰富了。其次，处理单元的工作也不简单，计算量庞大的视觉模型常常让人望而却步。

而在这篇 Nature 最新研究中，研究者表明图像传感器本身也可以「印刻」神经网络，它能同时担当感光与处理图像这两大功能，且还没有延迟。更重要的是，这种机器视觉芯片比传统卷积神经网络要快上千倍。只要一块芯片，相机秒变智能终端。

与人脑一样，新芯片能以纳秒级的速度感知、分类简单的图像。

a 为训练分类器与自编码器的实验配置，b 为用于测量 time-resolved 的实验设置，c 为光学实验的近景照片。

推荐：本文的亮点在于将神经网络与感光能力结合到一起，在感光的同时产生电流，在产生电流的同时完成视觉任务，这样的芯片还是非常有意思。

论文 5：DefogGAN: Predicting Hidden Information in the StarCraft Fog of War with Generative Adversarial Nets

• 作者：Yonghyun Jeong、Hyunjin Choi、Youngjune Gwon 等

• 论文链接：https://arxiv.org/abs/2003.01927

摘要：在本文中，来自三星 SDS 的研究者提出了 DefogGAN，这是一种用于推理即时战略游戏中战争迷雾机制下玩家状态信息的生成式方法。基于观察到的部分状态，DefogGAN 在游戏中生成除雾图像，以作为预测信息。此类信息能够为游戏创建战略智能体。

作为一种条件式 GAN 变体，DefogGAN 以金字塔式重建损失为特征，从而在多特征分辨率规模上进行优化。借助于专业《星际争霸》录像，研究者已经对 DefogGAN 进行了验证。结果表明，DefogGAN 能够像专业玩家那样准确地预测敌方建筑图和战斗单元，并在所有 SOTA 除雾器取得优异表现。

DefogGAN 的预测效果图与 Groud truth 的对比。图中分别以绿色和红色代表己方和敌方战斗单元。DefogGAN 能够预测未观察到的敌方战斗单元。

DefogGAN 整体架构图。

金字塔式重建损失。

推荐：DefogGAN 不仅是对抗学习提升战争迷雾机制的最早应用之一，而且它还可以应用到现实世界中的其他马尔科夫决策过程（POMDP）问题。

论文 6：Inverse Graphics GAN: Learning to Generate 3D Shapes from Unstructured 2D Data

• 作者：Sebastian Lunz、Yingzhen Li、Andrew Fitzgibbon、Nate Kushman

• 论文链接：https://arxiv.org/pdf/2002.12674.pdf

摘要：通常来说，训练这样的框架需要通过栅格化处理来进行微分步骤渲染，因此，过去研究人员在该领域的努力都专注于开发定制渲染模型。然而，通过此类模型处理的图像会显得不够真实自然，也不适合用于生成游戏以及图形产业的工业效果图。

微软的研究人员这一次做了新的突破——他们在论文中详细介绍了一个框架，该框架采用的「可缩放」训练技术是第一次被用于这一领域。研究人员提到，在使用 2D 图像进行训练时，该框架始终可以比现有的模型生成效果更好的 3D 形状。

通过在渲染自三个 ShapeNet 类的非结构化 2D 图像上训练 IG-GAN，由此生成的 3D 图示例。

IG-GAN 的整体架构和训练设置。

推荐：这对于视频游戏开发人员、电子商务公司，以及缺乏创建 3D 模型经验的动画公司来说，称得上是「福音」。

本周 10 篇 CV 精选论文是：

1. Rethinking Zero-shot Video Classification: End-to-end Training for Realistic Applications.  (from Biagio Brattoli, Joe Tighe, Fedor Zhdanov, Pietro Perona, Krzysztof Chalupka)

2. Creating High Resolution Images with a Latent Adversarial Generator.  (from David Berthelot, Peyman Milanfar, Ian Goodfellow)

3. A U-Net Based Discriminator for Generative Adversarial Networks.  (from Edgar Schönfeld, Bernt Schiele, Anna Khoreva)

4. Towards Noise-resistant Object Detection with Noisy Annotations.  (from Junnan Li, Caiming Xiong, Richard Socher, Steven Hoi)

5. Image Matching across Wide Baselines: From Paper to Practice.  (from Yuhe Jin, Dmytro Mishkin, Anastasiia Mishchuk, Jiri Matas, Pascal Fua, Kwang Moo Yi, Eduard Trulls)

6. Holistically-Attracted Wireframe Parsing.  (from Nan Xue, Tianfu Wu, Song Bai, Fu-Dong Wang, Gui-Song Xia, Liangpei Zhang, Philip H.S. Torr)

7. Inverse Graphics GAN: Learning to Generate 3D Shapes from Unstructured 2D Data.  (from Sebastian Lunz, Yingzhen Li, Andrew Fitzgibbon, Nate Kushman)

8. Feature Extraction for Hyperspectral Imagery: The Evolution from Shallow to Deep.  (from Behnood Rasti, Danfeng Hong, Renlong Hang, Pedram Ghamisi, Xudong Kang, Jocelyn Chanussot, Jon Atli Benediktsson)

9. Predicting Sharp and Accurate Occlusion Boundaries in Monocular Depth Estimation Using Displacement Fields.  (from Michael Ramamonjisoa, Yuming Du, Vincent Lepetit)

10. Adversarial Deepfakes: Evaluating Vulnerability of Deepfake Detectors to Adversarial Examples.  (from Paarth Neekhara, Shehzeen Hussain, Malhar Jere, Farinaz Koushanfar, Julian McAuley)

来源：机器之心@微信公众号


推荐阅读：

△关注极市平台，获取最新CV干货

微信公众号: 极市平台（ID: extrememart ）
每天推送最新CV干货