非局部相似性偶遇图网络，图像超分最新记录

paper: https://arxiv.org/abs/2006.16673

code: https://github.com/sczhou/IGNN（尚未开源）

极市导读：该文可能是首次提出将图神经网络嵌入到图像超分领域中，其实它也是图像块自相似性的一种应用，之前笔者分享过类似的方法(采用卷积方式进行块相似性搜索)，而这篇论文则是采用图神经网络搜索块相似性。这种块相似性搜索技术与传统方法中的搜索比较类似，可谓是传统方法与深度学习相结合的又一个进展。对图像复原方向感兴趣的小伙伴可以关注一下这篇论文。

Abstract

自然图像中的非局部自相似性时一种非常有效的先验信息，在传统图像处理中被广泛研究与应用，比如非局部均值、BM3D等图像降噪方法以及基于Self-Similarity图像超分和图像去模糊等等。然而该非局部自相似性在深度学习领域却鲜少见诸于研究，现有深度非局部方法仅仅探索了同尺度的相似块，因此图像复原的性能会受限于同尺度信息的有限性，而其他尺度的信息可能包含更多有用的信息。

该文作者对自然图像中的跨尺度块相似块(即相似块可能出现在图像的不同尺度)进行探索，并提出一种新颖的Internal Graph Neural Network进行跨尺度的相似块探索，作者构建了一种跨尺度图用于为LR图像中的块搜k近邻相似块，得到k个HR近邻块并采用自适应集成方式进行信息汇聚。因此，HR信息可以通过k个HR近邻块传递给LR图像块并辅助图像纹理细节复原。

最后，作者通过实验证实了所提方法的SOTA性能。

Method

在这部分内容中，首先介绍一下已有非局部方法的广义形式，然后所提到的跨尺度图汇聚模块，最后介绍所提出的快尺度图像神经网络(IGNN)。

Background

非局部汇聚策略被广泛应用于图像复原领域，比如非局部均值和BM3D采用非局部相似性属性进行图像降噪。在深度学习领域，非局部神经网络与k近邻网络被提出用于探索图像的非局部自相似性。非局部块的汇聚过程可以描述为：
$$
Y^i = \frac{1}{\deltai(X)} \sum{j \in S_i} C(X^i, X^j) Q(X^j), \forall i
$$
如果我们将特征块以及加权连接视作定点与边的话，上述过程可以视作GNN。之前已有非局部方法进行通尺度相似性探索，但是通尺度相似性对于图像超分的性能提升极为有限。

Cross-Scale Graph Aggregation Module

在已有的非局部深度学习方法中，特征块的大小往往相同。尽管它们在图像降噪方面表现良好，但是它难以获取高分辨率信息，对于超分的性能提升极为有限。考虑到自然图像的块自相似性会跨尺度出现，作者提出一种跨尺度图像神经网络。下图给出了跨尺度图汇聚模块示意图。

​ 对于LR中的每个查询块(图中黄色框)，从下采样图像中搜索k个最相似块并进行对应的HR块信息汇聚。跨尺度块的连接可以通过图方式进行建模，每个特征块是一个定点，边用来衡量块之间的相似性。下图给出了本文所提出的GraphAgg模块示意图，它包含两个操作：Graph Construction与Patch Aggregation。

Graph Construction

首先对低分辨率图像$IL采用双三次插值进行s倍下采样，得到I{L \downarrow s}$，其中下采样比例等于上期望的上采样尺度。因此，所找到的k近邻特征块与期望的HR特征块具有相同尺寸。

为得到k近邻特征块，首先采用VGG19的前三层对$IL, I{L\downarrow s}提取嵌入特征El, E{L\downarrow s}.参考传统非局部方法中的块匹配方法，对于E_L中的l \times l查询特征块EL^{q,l}，首先按照欧式距离寻找k个l\times l近邻块E{L\downarrow s}^{n_r,l},r={1,\cdots,k}，然后可以得到k个ls \times ls大小的来自EL特征块E{L}^{n_r, ls}$。该过程见上图中的红色线过程，称之为定点映射。

通过上述过程可以完成跨尺度k近邻图Gk(V,E)构建，V表示一个包含LR块集合Vl与HR近邻块集合Vls的块集合，E表示边集合。为度量顶点(即特征块)之间的相似性，采用$D^{n_r \rightarrow q}=E^{q,l}L - E{L \downarrow s}^{n_r, l}$进行度量并用于估计汇聚权值。

注：作在EL↓s而非EL上进行相似块搜索可以减少s2被搜索空间；同时仅仅搜索k近邻可以进一步减少计算复杂。

Patch Aggregation

受启发于Edge-Conditioned Convolution(ECN)，作者采用如下方式进行相似块汇聚：
$$
F^{q,ls}_{L\uparrow s} = \frac{1}{\delta_q(FL)} \sum{n_r \in Sq} exp(\mathcal{F}{\theta}(D^{n_r \rightarrow q})) F_L^{n_r, ls}, \forall q
$$
其中 $F_L^{nr, ls}$表示第r个近邻HR特征块，与此同时，作者还引入patch2img操作进行输出特征块变化。作者提出采用一种自适应ECN（即$\mathcal{F}{\theta}(D^{n_r \rightarrow q})$）估计顶点之间的汇聚权值(注：加权权值需要进行归一化哦)。

为充分利用FL↑s，作者采用一个Downsampled-Embedding sub-Network,DEN进行特征嵌入并与FL通过concat融合得到F′L并用于后续网络。

Adaptive Patch Normalization

作者观察到：通过GraphAgg模块得到的k个HR近邻块包含某些低频成分(比如颜色、亮度等)。除了前述提到的自适应加权外，受启发与AdaIN，作者还提出一种自适应块归一化(AdaPN)操作进行近邻块对齐。该过程可以描述为：
AdaPN(Fnr,ls,cL|Fq,l,cL)=σ(Fq,l,cL)(Fnr,ls,c−μ(Fnr,ls,cL)Lσ(Fnr,ls,cL))+μ(Fq,l,cL)
通过该对齐操作，可以将紧邻快的低频信息进行迁移同时保持高频纹理信息不变。

Cross-Scale Internal Graph Neural Network

Experiments

为验证所提方法的有效性，作者在DIV2K数据集上进行了训练，输入块大小为60×60，同时采用随机镜像、旋转等增广。优化器为Adam，初始学习率为0.0001,每200000迭代折半，合计训练800000迭代。损失函数为L1。在GraphAgg模块中，k=5，搜索窗口设置为30.注：GraphAgg是一种“即插即用”的模块，它可以轻易嵌入到其他超分网络中。

下表给出了所提方法与其他SOTA方法的性能对比，取得了目前最佳的PSNR指标。

此外，作者还进行了一些消融实验分析。下图对比了GraphAgg与常规非局部集成思路的对比。可以看到：简单的平均方式会产生假性纹理，而所提方法则有效避免了该问题。

下面两个表分别对比了(1)GraphAgg与其他非局部方法的性能；(2) GraphAgg插入不同位置的性能对比。

下面两个表分别对比了(1)不同搜索方位下的性能对比；(2)不同近邻数的性能对比。可以看到：搜索范围为30，近邻为5即可取得非常好的性能，进一步提升无明显提升。

最后，作者对比AdaPN与ECN的作用与性能对比，见下表。

最后的最后，多附上几个效果图，没办法，论文效果太赞了。

Conclusion

虽然该文并非首个将图像块跨尺度自相似性引入到图像超分领域，但其创新性的采用图方式进行最近邻相似块的搜索，同时进一步将图像超分的指标刷到的新的高度。

目前作者尚未开源代码，甚至期待开源并尝试一番。笔者最近也是在尝试非局部均值、双边滤波思想与图像超分的融合之道，但尚未取得这么好的效果。但这篇论文提供了一个非常好的方案：采用图神经网络嵌入图像块自相似性，好像看到了自己方案的前进之路。

◎作者档案
Happy，一个爱“胡思乱想”的AI行者
个人公众号：AIWalker
欢迎大家联系极市小编（微信ID:fengcall19）加入极市原创作者行列

微信公众号: 极市平台（ID: extrememart ）
每天推送最新CV干货