心酸科研路：3年前CVPR论文，仅被引用11次，如今成就黑洞照片！

众所周知，黑洞照片已经朋友圈刷屏了，可你也许不知道这张照片背后的一个故事。

译者 | Linstancy、Major

编辑 | 琥珀

出品 | AI科技大本营（公众号ID：rgznai100）

近日，由天文学家公布的人类首张黑洞照片引起了轰动，在这张 “并不清晰” 的照片背后却是 Katie Bouman 团队早已在三年前就提出的新算法 CHIRP——使用 Patch priors 进行连续高分辨率图像重建获得的。当时，Bouman 还是 MIT 电子工程和计算机科学专业的一名 26 岁的研究生。2016 年 6 月，Bouman 等人在当年的 CVPR 会议上收录的 “Computational Imaging for VLBI Image Reconstruction” 的论文中介绍了这项新算法。值得一提的是，同年获 CVPR 最佳论文是提出的深度残差网络（ResNet）的何恺明等人。

该算法将从分布在全球各地的射电望远镜收集到的数据汇聚在一起，它是由一个名为 Event Horizon Telescope（EHT）的国际合作项目开发的。从本质上说，这个项目是将整个地球变成一个大型射电望远镜天线。

Event Horizon Telescope 项目采取的解决办法是协调射电望远镜在相离很远的地点进行测量。但即使是再多两倍的望远镜也会在数据中留下很大的缺口，因为它们需要大约 1 万公里宽的天线。填补这些空白正是 Bouman 等人提出新算法的目的。

以色列 Technion 电子工程系教授 Yoav Sechhner 认为，“论文作者使用了一种非常先进的方法来学习先验知识（ priors ），从本质上说，先验知识约束着所探寻的未知世界。因此，利用少量采集的数据可以很好地确定球在时空中的确切状态。这种先验模型方法在 EHT 项目图像中的应用并不简单。作者承担了重大的努力和风险。它们在数学上合并成一个单一的优化公式，一个非常不同、复杂的感知过程和一个基于学习的图像先验模型。”

与之共同参与的还有 MIT 计算机科学与人工智能实验室的同事、哈佛史密森天体物理中心和麻省理工学院海斯塔克天文台团队，还有她的指导老师 MIT 计算机科学与人工智能实验室教授 Bill Freeman。

据悉，当时该篇论文公布后并未赢得太多人的关注，根据 Google Scholar 可以看到，这篇论文也仅被引用了 11 次。北京邮电大学副教授陈光感叹：“引用数未必代表工作的影响力，尤其是多学科工作！”

让我们重读这篇论文。

传送门：https://arxiv.org/abs/1512.01413

摘要：

VLBI (Very Long Baseline Interferometry) 即长距离的基线干涉测量法是一种利用地球上分布的望远镜所发射的无线电信号实现同步成像的技术。实现这一技术的挑战在于所重构细粒度的 VLBI 图像需要非常大量稀疏的数据，而这些数据可能含一定的噪声干扰，因而需要利用计算机视觉知识设计图像统计模型来解决这个问题。

本研究提出一种基于贝叶斯 (Bayesian) 的新颖方法来解决 VLBI 图像重构问题。相比于其他方法通过参数微调和筛选来处理不同类型数据，本研究所提出的方法 CHIRP， 能够在不同的方法设置如 low SNR 或 extended emission 等条件下，产生良好的结果。实验结果表明：该方法不仅可以在真实合成实验中取得良好的效果，还能成功应用于那些公开的真实数据集。目前，该研究项目已经开源。

链接：vlbiimaging.csail.mit.edu

简介

众所周知，天文学和物理学的进步离不开高分辨率的天体成像技术。例如，通过高分辨的成像技术能够回答有关黑洞及其周围边界物质分布的一些问题。由于遥远天体信号源的高分辨成像需要大直径的 single-dish 望远镜，而望远镜的直径和角分辨率的关系呈反向，因此即使直径再大的望远镜也无法将所采集的数据同时放在一个阵列中。这种情况下，需要使用多个这样的望远镜，即通过长距离基线测量法 VLBI 来得到所需的数据，其测量原理如下图1所示。

图1 频率覆盖图。(a) EHT 中望远镜位置示意图。通过观测某一天所发射的信号，得到所对应的源图像频率平面的椭圆轨迹。(b) 这些频率 (u, v) 是预计投射的基线位置，其长度垂直于望远镜对的视线。相同颜色的点对应于相同望远镜对的测量值。

由于 VLBI 技术所采用的是一组稀疏约束的源图像空间频率数据，这不适用于图像重构任务，且很大程度上需要依赖先验来指导优化过程。而对于 ETH，传统的图像重构算法也很难得到所要的高分辨率图像。因此，本研究利用计算机视觉技术，提出一种新颖的图像重构算法 CHIRP (Continuous High-resolution Image Reconstruction using Patch Priors)。

本文的主要贡献如下：

• 提出一种改进的模型前向近似方法，用于更精确地对空间频率进行建模。

• 提出一种更简单的问题公式化和优化策略，来解决 VLBI 数据噪声的影响。

• 创建一个大型、真实的 VLBI 数据集 (地址：vlbiimaging.csail.mit.edu)。

数据集

本研究构建了一个大型的真实数据集和项目主页，用于评估 VLBI 图像重构算法的性能，希望通过大量易于理解的训练和测试数据，让更多领域的研究者能够理解这项研究。项目主页的内容主要包括：

用于 VLBI 图像算法训练和盲测 (blind test) 的标准数据，包括真实数据和合成数据，能够自动定量地评估算法性能。

算法性能的定性对比结果。

提供一个在线表格，可以根据使用者所指定的方法，轻松模拟真实数据图像和望远镜参数。

由于当前的干涉测量数据集难度较小，且所含有的噪声特性并不适合无线电波长。因此，本研究引入一个新的 VLBI 无线数据集，不仅能够揭示当时算法的不足，同时能够促进新算法的发展。该数据集包含：

• 合成测量数据 (Synthesis Measurements)：超过5000个标准格式的 VLBI 合成测量数据，包括各种阵列配置、源图像以及噪声级别。

• 真实测量数据 (Real Measurements)：提供了33组相同标准格式的 VLBI 测量数据，这些数据都是通过 VLBA (Very Long Baseline Array) 方法采集得到的，为算法的测试提供实验数据。

• 测试集合和错误度量 (Test Set and Error Metrics)：提供一组具有挑战性的合成数据用于算法的盲测 (blind test)，该测试集引入公平定量的对比方法，包括 MSE、PSNR 以及带结构相似指数 (structural similarity, SSIM)的 MSE 指标，来评估算法间的性能。

方法

• 连续图像表征 (Continuous Image Representation)

在此，对于想要恢复的图像 L (l, m)，将其定义在角坐标 l 和连续空间 m 上。在图像重构时，许多算法通常假设一系列离散的点作为图像的数据源，这种离散化的数据将在优化期间引入一定的误差，特别是在拟合更高频率的可见性时。因此，本研究采用一个离散数项来参数化一副连续的图，这不仅能够对连续图像进行建模，还能减少优化过程的误差。由于每个测量的复杂可见性都近似于 L (l, m) 的傅里叶变换，因此图像的一种简便的参数化形式可以表征为一个平移缩放的连续脉冲函数的离散值，如三角脉冲。如下图2所示，可以看到相比于一组离散的是点数据源，这种图像表征能够更准确地近似真实的频率分量。

图2 精确的图像频率建模图。可以看到，在相同的参数量情况下，所提出的方法能够得到更加准确的真实频率分布，其中红色部分是真实图像的频率，而传统的离散图像模型用绿色表示，通过矩形和三角脉冲优化后的模型分别用青色和蓝色表示。

因此，本研究中采用两倍间距的三角脉冲函数，这等价于在脉冲中心进行线性插值，同时简化了非负的约束条件。值得一提的是，这不仅适用于 VLBI 图像重构，这种方法存在一定的普遍适用性。

• Model Energy

基于给定复双谱测量值 M，采用最大后验概率 (MAP) 来估计图像系数 x。此外，得益于 patch prior 方法在图像存储方面的成功应用，在此采用高斯混合模型的 patch prior 来正则化图像，提出一种 EPLL 的方法 (Expected Patch Log Likelihood)，并最小化最大后验概率的能量值，这与贝叶斯后验概率法 (Bayesian posterior probability)相似。

• 优化过程

对于算法的优化，这里采用基于半二次方分裂法( Half Quadratic Splitting) 方法，并引入一组用于图像中每个重叠部分的辅助 patch 值，通过不断迭代来优化算法。而对于迭代过程，这里提出了一种多尺度的迭代框架 (Multi-scale Framework)。首先，初始化以小噪声为中心的图像 x0。随后，使用图像的离散化公式，增加脉冲数并作用于图像上。该框架允许在模型优化前得到最佳的低分辨率图像重构结果，也能有效地避免最终结果陷入局部的最优解。本研究的优化过程使用一组 20×20 的脉冲，并以10的大小，逐渐增加到 64×64。

实验结果

为了验证所提出算法 CHIRP 的有效性，本研究进一步在合成数据和真实的 VLBI 数据上进行大量的实验。

• 合成数据的结果：下图3展示的是在 CHIRP 方法在合成数据上的结果，可以看到过滤掉空间频率的影响明显高于最小条纹的间距。

图3 合成数据上的结果 (最大分辨率图)

• 方法对比:下图4展示的是其他三种最先进的算法 (SQUEEZE，BSMEM 和 CLEAN) 与 CHIRP 方法的结果对比。可以看到，CHIRP 方法能够处理各种不同的数据源，从简单的天体数据到复杂的自然图像，而不需要额外的参数调整。相比之下，CLEAN 产生的图像比较模糊，SQUEEZE 和 BSMEM 所得到的图像相对稀疏。

图4 各种方法的结果对比。

除了四种方法的结果，TARGET 图像表示的是由地面真实发射过滤到望远镜阵列中的最大分辨率图像。

此外，图5展示的各种算法在盲测数据集 (blind test) 上的结果，如下所示。由于 CLEAN 方法无法自动处理大的相位误差，因此无法对比不同方法的结果优劣。

图5 在盲测数据集 (blind test) 上的定量分析结果

• 噪声敏感度：下图6展示的是当改变总体的磁通密度 (total flux density) 时，图像重构任务上噪声对每种方法的影响对比。

图6 噪声敏感度结果

• Patch Prior的作用：下图7展示的是使用一个 patch prior 训练所得到 natural，celestial，black hole，l2 norm 以及 l0.8 条件下的黑洞图像。

图7 patch prior 对于图像重构的影响

• 真实数据的结果：下图8展示的是 CHIRP 方法在三种不同的真实数据上的重构结果。

图8 在真实数据上的实验结果

结论

本研究主要提出一种 CHIRP 算法，使用稀疏的 VLBI 频率限制来重构图像。通过大量的实验证明，相比于当前最先进的方法，所提出的 CHIRP 方法在合成和真实数据上的实验结果都优于其他算法。

此外，本研究的另一贡献是构建了一个新的数据集以及在线的算法性能对比平台，希望这能够推动天体成像方面的研究。

一个小插曲

不过，就在 Katie Bouman 本人出名后，还出现了一个插曲，在 GitHub 上开源的黑洞算法代码库（https://github.com/achael/eht-imaging）里，她被质疑并非是代码的主要贡献者，而是另一个成员 Andrew Chael。

随后，Andrew Chael 很快发推特回应称：“如果你因为 Kaite 是名女性想要攻击她才来祝贺我，那么请走开，管好自己的事情。”他还澄清说明自己并为该项目编写 850000 行代码，目前的软件中有大约 68000 行代码，我并不关心我个人编写了多少行代码。”

无论如何，谁也无法抹杀他们在这项历史性项目上的贡献。

（本文为 AI大本营原创文章， 转载请微信联系 1092722531 ）