CVPR2020事件相机（Event Camera）研究文章汇总

Original 董岩 3D视觉工坊 7/18

收录于话题

#事件相机

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

本文介绍了CVPR 2020中关于事件相机（Event Camera）的相关研究。所列举的论文由CVPR录取论文中通过关键字搜索得到，难免会有遗漏；同时由于涉及具体的方向较多，粗略学习可能理解不到位，难免产生错误。望阅读推送的朋友能够指出遗漏和错误。附原文打包下载，公众号后台回复「CVPR2020_Event_Camera」，即可获得网盘下载链接。1、降噪Event Probability Mask (EPM) and Event Denoising Convolutional Neural Network (EDnCNN) for Neuromorphic Cameras使用"Event probability mask (EPM)"表述一个事件点是否为噪声，是一个概率。同时提出了一个衡量事件相机降噪效果的指标：Relative Plausibility Measure of Denosing (RPMD)；同时提出了一个降噪网络：Event Denosing CNN (EDnCNN)；同时给出了一个降噪数据集：DVSNOISE20。

2、去模糊与超分辨率2.1 Joint Filtering of Intensity Images and Neuromorphic Events for High-Resolution Noise-Robust Imaging文章提出了一个全新的优化框架，guided event filtering (GEF)。这个框架结合了普通相机和事件相机的数据，估计运动参数与导向滤波、超分辨率等任务，同时这个框架后续可以用于特征跟踪等任务。其基本思想是事件相机积累图的边缘，和传统图像的梯度，理论上是相同的。文中同样采用RPG提出的最大化对比度的方式进行运动参数估计，只是修正了目标函数，加入了灰度图像的梯度，减小了事件噪声的影响。

2.2 Learning Event-Based Motion Deblurring文章提出了一个新型的端到端的去运动模糊的架构，在两大重要指标上达到了state-of-art；并提出一种方向性事件滤波方法，生成了更加清晰锐利的边缘信息。

2.3 Learning to Super Resolve Intensity Images from Events
由于事件相机的分辨率相对较低，文章提出了第一个直接有事件相机数据重建超分辨率图像的端到端的神经网络。

2.4 EventSR: From Asynchronous Events to Image Reconstruction, Restoration, and Super-Resolution via End-to-End Adversarial Learning文章提出了一个网络，用于将低分辨率的事件相机图像，转为高分辨率的数据。整个网络具有三个阶段：重建、修复和超分辨率处理。重建部分采用单事件相机数据，通过网络得到图像数据，之后对重建后的图像进行修复、提升质量，在家通过超分辨率网络进行放大。网络在训练的过程中没有完整的图像作为ground truth，是一个无监督的学习过程。

3. 光流与运动3.1 Single Image Optical Flow Estimation with an Event Camera文章通过一张图片和对应的事件相机数据，对图像中的场景进行光流估计。文章提出了基于事件的亮度一致性约束（event-based brightness constancy constraint）对光流和事件数据的关系进行编码，同时提出图像模糊模型，能够处理模糊图像下的光流估计问题。从结果上看，超过了现有的 PWC-Net, FlowNet, SelFlow 等方法。

3.2 Learning Visual Motion Segmentation using Event Surfaces文章提出了一个图卷积神经网络，用事件数据流对运动物体进行分割。首先将一段事件数据流生成物体的点云图，之后获得速度、边界等参数，从而能够进行3D运动分割、运动物体跟踪等任务。

4. 其他主题4.1 3D人体位姿捕捉EventCap: Monocular 3D Capture of High-Speed Human Motions using an Event Camera本文提出了EventCap——第一个使用单目事件相机捕捉人体3D运动的方法。方法输入完整的图像序列，和对应的事件相机的数据，通过异步混合运动捕捉阶段，再进行细化，得到完整的人体3D位姿。

4.2 运动参数全局最优解Globally Optimal Contrast Maximisation for Event-based Motion EstimationRPG曾经提出了利用事件相机数据，估计相机运动参数的一个框架，这个框架采用最大化对比度或其他目标函数，来估计运动参数。然而这个框架中需要对运动参数有一个初步的估计，如果距离真值较远，只能获得局部最优解，而不是全局最优解。本文提出了计算全局最优解的方法，采用了branch-and-bound(BnB)思想。文章从数学角度推算了方法的边界。这种方法的计算效率远低于直接优化获得局部最优解，但得到的质量还是不错。

4.3 视频流转Events数据Video to Events: Recycling Video Datasets for Event CamerasRPG提出的一个将视频转成事件相机输出的一个网络，网络可以将一段儿视频转成对应的DVS输出，代码已开源：https://github.com/uzh-rpg/rpg_vid2e。通过该网络，可以将现有的大量视频数据集，转成对应的event数据，更好地方便learning。可以看出，RPG在learning的路上越走越远，已经不满足于模拟器、仿真器等这些相对低效的手段获取数据，而是直接从现有数据集转化。

本文仅做学术分享，如有侵权，请联系删文。推荐阅读：

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加微信群或投稿

640?wx_fmt=jpeg

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近1000+星球成员为创造更好的AI世界共同进步，知识星球入口：

CVPR2020事件相机（Event Camera）研究文章汇总