论文解读（MGAE）《MGAE: Masked Autoencoders for Self-Supervised Learning on Grap...
source link: https://www.cnblogs.com/BlairGrowing/p/16386259.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
论文标题：MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs
论文作者：Qiaoyu Tan, Ninghao Liu, Xiao Huang, Rui Chen, Soo-Hyun Choi, Xia Hu
论文来源：2022, ArXiv
论文地址：download
论文代码：download
1 Introduction
MAE 在图上的应用。
2 Method
整体框架：
2.1 Encoder
本文的掩藏目标是随机掩藏一部分（30%）边，然后考虑 GCN、GraphSage 作为主干网络提取特征信息，对于被掩藏的边将通过 Decoder 训练得到。
掩藏策略：
-
- Undirected masking：将图看成无向图，删除 (u,v) 之间的边，对应于 A 中的两条边；
- Directed masking：将图看成有向图，删除 (u,v) 之间的边，对应于 A 中的一条有向边；
注意：上述两种策略边掩藏率是设置一样的。
2.2 Cross-correlation decoder
由于Encoder 采用的是基于消息传递机制的 Encoder，所以最终只得到被保留部分的节点潜在嵌入。
Encoder K 层传播结构共生成的保留节点嵌入矩阵 {H(1),H(2),⋯,H(K)}，对于存在的保留节点进行 cross-correlations 操作，即
hev,u=‖Kk,j=1h(k)v⊙h(j)u
-
- ‖ 表示连接；
- ⊙ 表示元素乘法；
- hev,u∈RdK2 表示节点 v 和节点 u 之间的交叉表示，分别考虑它们的 k 阶邻域和 j 阶邻域；
为避免过于复杂，通常 K=2。
假设剩余的节点有 m 个，那么输入到对应的 MLP Decoder 的将有 m(m−1) （无向图）个特征向量，最终预测 (u,v) 直接边存在的概率通过下式生成：
yv,u=MLP(h(K)v,h(K)u)
2.3 Reconstruction target
MGAE解码器，只重建掩码的边，目标函数如下：
L=−∑(v,u)∈Emask logexp(yvu)∑z∈Vexp(yvz)
为加速训练，本文采用负采样策略。
2.4 Algorithm
整体算法如下：
3 Experiments
Link prediction
Node classifification
4 Conclusion
图上边掩码AE。
2022-06-17 创建文章
__EOF__
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK