文章名称
【IJCAI-2022】【Faculty of IT/Nanjing University of Science and Technology】Multi-Scale Contrastive Siamese Networks for Self-Supervised Graph Representation Learning
核心要点
文章旨在解决现有图神经网络方法严重依赖标注样本的问题，提出MERIT方法，基于图自监督学习和BYOL[Grill et al., 2020]的思想，利用online和target network在2个对比视图上进行对比学习，设计了cross-netowrk（对比online和target network的输出）和cross-view（对比同一个network中2个不同视图的输出）来学习可以使下游任务受益的节点表示。
上节介绍了作者的研究主题和解法思路，并介绍了如何构建增广视图，本节继续介绍图对比方法。
研究背景
为了解决图神经网络对标注样本的依赖，许多图对比学习方法被提出。它们通过对比不同增广视图下的样本向量表示，学习可迁移的、鲁棒的向量表示。其中一部分对比学习方法基于互信息最大化，作者认为这些方法，存在两个问题，
- 现有的基于MI的对比学习方法，通过额外的估计器判断（大量）正负样本的相似性，计算量较大且对估计器的选择比较敏感[Tschanen et al., 2020]。
- 此外，大多数现有的GCL方法严重依赖大量的负样本来避免平凡解（collapse），这些负样本可以被视为正则项，指导着模型学习的方向，因此需要慎重选择。
在图像自监督学习领域，为了解决上述问题，BYOL[Grill et al. 2020]提出利用非对称的Siamese Network以及stop gradient和Moving average updating技术，在没有负样本参与的情况下，解决了模型坍塌到平法解的问题（BYOL被视为是一种predictive self-supervised learning方法）。
作者提出将上述方法引入图神经网络自监督学习中，结合非对称孪生网络和对比学习的优势，实现多视图以及不同网络间的对比自监督学习。
方法细节
MERIT的目标是在给定图时，学习图中节点的表示
，并可以将该节点表示直接用于下游任务，例如节点分类等。
MERIT的整体框架如下图所示，包括3个重要的组成部分。
Cross-network contrastive learning
MERIT采用Siamese结构，包括两个结构相同但参数不同的网络online和target network，
，且target network的参数由下图所示的滑动平均公式决定。
momentum updating mechanism此外，为了防止模型坍缩，产生平凡解，还在online network中引入了一个额外的预测网络
。Cross-network对比学习任务是通过对比，某个节点
在一个增广视图下的online network表示
和该节点在另一个视图的target network下的表示
来学习节点表示。具体流程如下图Figure2中的子图a所示，其中
分别表示在输入预测网络
分别表示online和target network得到的节点表示。上标用于区分不同的view。
cross-netowrk and cross-view taskBYOL中并没有采用负样本对，而作者认为利用额外的负样本能够起到对boostrap loss进行正则的效果，针对某一个节点的损失函数如下图所示。
是一对负样本。
cross-network loss of a single node由于为了防止坍缩到平凡解，引入了非对称network设计，即
cross-network lossCross-view contrastive learning
cross-netowrk对比任务相当于进行了两个维度的跨越对比，而传统的GraphCL更多在同一个network（encoder）下的不同view间进行对比。因此作者引入了cross-view对比任务，其示意如上图Figure2子图b所示，包含两种cross-view对比任务。
inter-view contrastiveness。此类对比任务拉近同一个节点
在不同view下的节点表示（子图两个view间的红线），并推远该节点与其他节点，例如
等，的距离（子图两个view间的蓝线）。具体损失函数如下图所示，注意损失中只是变换了上角标，但是向量并没有从
变成
。
inter-view cross-view lossintra-view contrastiveness。此类任务推远同一个view下目标节点
心得体会部分）。具体损失如下图所示。ntra-view cross-view loss可以看出，公式8和公式7的区别仅仅是分母的部分。这其实相当于强调了正样本对的语义。
值得注意的是，作者强调并没有在target network上引入cross-view的对比学习任务，因为target network没有直接的梯度回传，并且我们的目标是学习online network来作为encoder。 最终cross-view的整体损失如下图所示。
single view cross-view loss
totol cross-view loss
模型的整体损失如下图所示。值得注意的是，在预测阶段，作者利用原始图输入和graph diffusion之后的数据，一起作为输入来学习节点表示（分开学之后求和），作为最终的向量表示。
心得体会
数据增广
Multipe Scale
作者所表述的Multi-Scale实际上包含了两个维度，模型（network）维度和增广视图（view）维度。利用了跨不同维度的组合实现了不同层级的对比。作者在文章提到，类似BYOL的online和target结构能够帮助online network学习到平稳的语义信息。而不同视图则提升抗扰动的能力。结合两种（跨越两种）维度能同时学习两方面的信息。
intra-cross-view
个人感觉，view内的对比任务值得商榷（Fiugre2绿色线），一些研究表明，相连的节点具有相似的语义特性或属性，被称为proximity或Homophily。如果推远这样的节点的表示有可能会降低模型性能。
文章引用
[Tschannen et al., 2020] Michael Tschannen, Josip Djo- longa, Paul K Rubenstein, Sylvain Gelly, and Mario Lu- cic. On mutual information maximization for representa- tion learning. In ICLR, 2020.
[Youetal.,2020] YuningYou,TianlongChen,YongduoSui, Ting Chen, Zhangyang Wang, and Yang Shen. Graph con- trastive learning with augmentations. In NeurIPS, 2020.
[Klicpera et al., 2019] Johannes Klicpera, Stefan Weißenberger, and Stephan Gunnemann. Diffusion improves graph learning. In NeurIPS, 2019.
[Grill et al., 2020] Jean-Bastien Grill, Florian Strub, Florent Altche, Corentin Tallec, Pierre Richemond, Elena Buchatskaya, Carl Doersch, Bernardo Avila Pires, Zhaohan Guo, Mohammad Gheshlaghi Azar, Bilal Piot, koray kavukcuoglu, Remi Munos, and Michal Valko. Bootstrap your own latent - a new approach to self-supervised learning. In NeurIPS, 2020.
