LightGCL: SIMPLE YET EFFECTIVE GRAPH CONTRASTIVE LEARNING FOR RECOMMENDATION
LightGCL:简单而有效的推荐图对比学习方法
来源：ICLR 2023
摘要：尽管大多数现有的图对比学习方法都很成功，但它们要么对用户-项目交互图执行随机增强（例如，节点/边缘扰动），要么依赖于基于启发式的增强技术（例如，用户聚类）来生成对比视图。作者认为这些方法不能很好地保留内在的语义结构，而且很容易受到噪声扰动的影响。本文提出了一个简单而有效的图对比学习范式LightGCL，专门利用奇异值分解进行对比增强，使全局协同关系建模实现无约束结构细化。
1 动机
目前最先进的对比学习推荐方法存在一些固有的局限性：
i)具有随机扰动的图增强可能会失去重要而有用的结构信息，从而误导了表示学习。
ii)启发式对比方案的成功很大程度上建立在视图生成器上，这限制了模型的通用性，并且容易受到噪声用户行为的影响。
鉴于上述局限性和挑战，作者采用一种简单而有效的LightGCL增强方法，重新审视图对比学习范式。在该模型中，图的增强由奇异值分解（SVD）指导，不仅提取用户-项目交互的有用信息，而且还将全局协作上下文注入到对比学习的表示对齐中。使用这样一种鲁棒的图对比学习范式，可以很好地保留用户-项目交互的重要语义，而不是生成两个手工制作的增强视图。这使得自我增强表示能够反映用户特定的偏好和跨用户的全局依赖关系。
2 方法
2.1 局部图依赖关系建模
作为协同过滤的一种常见做法，作者为每个用户的ui和项目vj分配一个嵌入向量，
，其中d是嵌入大小,所有用户和项目嵌入的集合被定义为E (u)和E (v)。在第l层中，聚合过程表示如下：
其中，和
表示用户ui和项目vj的第l层聚合嵌入。σ（·）表示LeakyReLU，负斜率为0.5。˜A是归一化邻接矩阵，作者在其上执行边缘dropout，表示为p（·），以缓解过拟合问题。作者在每一层中实现残差连接，以保留节点的原始信息如下：
节点的最终嵌入是其在所有层上的嵌入的总和，用户ui和项目vj之间的内积预测了ui对vj的偏好：
2.2 高效全局协作关系学习
作者使用SVD方案来从全球的角度有效地提取重要的协作信号。具体来说，首先对邻接矩阵A进行SVD，即 。这里，U / V是一个I×I / J×J标准正交矩阵。S是一个存储a的奇异值的I×J对角矩阵，最大的奇异值通常与矩阵的主成分是相关的。因此，作者截断奇异值列表以取得最大的q个奇异值，并用截断矩阵重建邻接矩阵为
，其中
和
分别包含U和V的前q列。
是q最大奇异值的对角矩阵。
重构矩阵是邻接矩阵A的一个低秩近似，因为它保持该秩（
）=q。基于svd的图结构学习的优点是两方面的。首先，它通过识别重要的用户偏好表示和可靠的用户-项目交互来强调图的主成分。其次，生成的新图结构通过考虑每个用户-项目对来保持全局协作信号。给定
，可以在每一层中对重构的用户项关系图进行消息传播：
传统的GCL方法如SGL和SimGCL通过构建两个额外的视图来对比节点嵌入，而从原始图（主视图）生成的嵌入并不直接参与InfoNCE损失。采用这种繁琐的三视图范式的原因可能是，用于增强图的随机扰动可能会为主视图嵌入提供误导性的信号。然而，在作者提出的方法中，增强图视图是通过全局协作关系创建的，这可以增强主视图的表示。因此，作者通过直接对比SVD增强的视图嵌入与主视图嵌入
来简化对比学习框架：
其中，s（·）和τ分别表示余弦相似度和温度。如等式6中所示，对比损失与推荐任务的主要目标函数共同优化（其中和
表示用户i的一对正负项的预测得分）：
3 实验
3.2 流行度偏差实验
3.3 过度平滑和过度均匀性的平衡
从图4中可以看出，非cl方法（即LightGCN、MHCN）的嵌入分布在嵌入空间中表现出难以区分的聚类，这说明了解决过平滑问题的局限性。相反，现有的基于cl的方法倾向于学习i)过均匀分布，例如，Yelp上的SGL学习一个巨大的均匀距离嵌入云，没有明确的社区结构，以很好地捕捉用户之间的协作关系；ii)高度分散的小簇内存在严重的过平滑问题，例如，Gowalla上的SimGCL嵌入似乎是分散的粒度簇，其中的嵌入高度相似。与之相比，本文的方法可以识别出清晰的社区结构，以捕获协作效应，而每个社区内部的嵌入则可以合理地分散，以反映用户特定的偏好。模型学习特征的MAD也在两种基线之间，如表3所示。
3.4 超参数分析
