文章名称

【CIKM-2019】【Gaoling School of Artificial Intelligence/Kuaishou Technology】A Model-Agnostic Causal Learning Framework for Recommendation using Search Data

核心要点

文章旨在解决现有在推荐系统中存在confounder导致偏差，并影响推荐效果的问题，提出模型无关的IV4Rec框架，能够从向量表示中有效地拆分因果关系和统计关联。该方法利用用户的搜索行为向量作为IV，来分解用户的推荐行为向量中的因果部分，并将分解的向量传入任意深度模型得到最终的推荐结果。

上节介绍了文章的研究背景，并介绍了，作者融合用户搜索行为和推荐行为，利用搜索embedding作为IV，消除推荐embedding的偏差的思路，以及如何构造treatment和IV。本节继续介绍如何利用IV从treatment中消除偏差，并最终得到推荐结果。

研究背景

如前所述，许多大型平台，同时提供搜索和推荐的服务，用户的历史搜索行为是不受当前推荐场景的confounder的影响的，并且又只通过影响用户和物品的embedding来影响当前推荐场景下用户对物品的偏好，很好的符合IV[1, 5]的要求。因此，作者利用用户的历史行为分别构建基于推荐行为的treatment和基于搜索行为的IV，利用IV的性质，来消除推荐confounder带来的偏差。

作者认为，搜索场景下的embedding不会受到推荐场景中的confounder的影响，例如曝光位置，物品流行度等等，并且搜索场景的embedding只通过影响推荐场景的embedding来影响用户在推荐场景的交互行为。个人理解，这里的搜索embedding是推荐中用到的用户搜索行为的历史信息。基于此，作者把 $\mathcal{ T}^{}_{u, i}, \mathcal{ Y }^{}_{u, i}, \mathcal{ Z }^{}_{u, i}$ 分别视为treatment，outcome和instrument variable。并可以从treatment中disentange出因果关系embedding和非因果关系embedding $\hat{\mathcal{ T }}^{}_{u, i}，\tilde{\mathcal{ T }}^{}_{u, i}$ 。

方法细节

方法架构

IV4Rec

IV4Rec的整体框架如下图所示，主要包括3个步骤，

framework of IV4Rec

上一接介绍了前2个步骤，构造treatment和IV，我们回顾一下具体流程。

构造Treatment， $\mathcal{ T }^{}_{u, i}$ 。如前所述，作者把treamtment定义为一系列embedding的组合，包括目标物品 $i$ 的embedding和用户的历史行为embedding（当然还可能包括一些其他的上下文或用户的基础属性等，这里只利用用户的交互行为作为embedding输入），可以被形式化的表示为如下图所示。其中 $\mathcal{ I}^{}_{u},j$ 表示用户历史交互物品的集合及其标号（注意，下标 $j$ 包括目标物品 $i$ ）。这里的embedding可以利用，例如BERT之类的序列模型得到。

treatment embedding

构造Instrument Variable， $\mathcal{ Z}^{}_{u, i}$ 。作者把搜索行为的一系列矩阵当做Instrument Variable，可以被形式化的表示为如下图所示。其中，每一个矩阵 $\boldsymbol{ Z}^{}_{j}$ 表示针对物品 $j$ 的Top-K Query的embedding所组成的矩阵（注意，下标 $j$ 包括目标物品 $i$ ，并且，这里的每一个物品都和上边推荐，也就是treatment集合里的物品对应）。值得注意的是，这里的Top-K是利用在对应query下，物品 $j$ 的点击量排序得到的。同样的，这里的每一个embedding可以利用语言模型得到。

search embedding

接下来，继续介绍剩下的1个步骤。

重建Treatment， $\mathcal{ T }^{re}_{u, i}$ 。这一步主要是利用IV方法，重建具有因果关系的treatment表示，作者采用2SLS，首先利用将 $\mathcal{T}^{}_{u, i}$ 回归到 $\mathcal{Z}^{}_{u, i}$ ，得到第一阶段的结果，即所谓的不受confounder影响的treatment表示 $\mathcal{ \hat{T} }^{}_{u, i}$ 。其具体的计算公式如下图所示。其中， $\boldsymbol{t}^{}_{j}, \boldsymbol{Z}^{}_{j}$ 表示对应物品的treatment向量和Top-K搜索矩阵。

无偏的treatment回归效果

投影函数

投影函数是Top-k搜索向量与“投影向量” ${\tau}^{}_{j}$ 的点击，而 ${\tau}^{}_{j}$ 是如下图示的公式的解。也就是说， ${\tau}^{}_{j}$ 是能够使得Top-K查询矩阵 $\boldsymbol{Z}^{}_{j}$ ，在投影后与经过非线性变换 $MLP_0$ 之后的 $\boldsymbol{t}^{}_{j}$ 更接近的向量。（该公式还可以被表示为第二个等号后的部分，其中 $\boldsymbol{ Z }^{ \dagger }_{j}$ 是Moore-Penrose pseudoinverse，也就是广义逆。个人觉得这里其实和主线没太大关系，略微有点炫技了。）

投影向量的求解方式

投影后的treatment向量，也就是反应因果关系的向量 $\hat{t}^{}_{j}$ 被作者成为fitted part。同样的利用如下图所示的公式，可以得到剩余的残差部分，反映了treatment中non-causal的部分，或者说收到confounder影响到那一部分，被作者称之为residual part。

投影后的残差

作者表示，分开使用treatment的causal和non-causal信息，可以有利于模型学习真正的关联性。并且，传统的2SLS一般用线性回归，而作者使用MLP使得模型能够更多的从深度学习的非线性能力中受益。
得到 $\mathcal{ \hat{T}^{}_{} }^{}_{u, i}$ 和 $\mathcal{ \tilde{ T} }^{}_{u, i}$ 之后，可以将两部分重新构建为 $\mathcal{ T }^{re}_{u, i}$ 。其中， ${\alpha}^{1}_{j} = {MLP_1}({MLP_0}({t}^{}_{j}), \boldsymbol{Z}^{}_{j}), {\alpha}^{2}_{j} = {MLP_2}({MLP_0}({t}^{}_{j}), \boldsymbol{Z}^{}_{j})$ 分别表示两部分的重构权重。

重构treatment

值得注意的是，作者强调，不同于传统的causal inference要从观测数据中准确识别因果效应，推荐场景还是要准确预测线上的数据。而[44]表明在推荐场景，non-causal是能够帮助准确预测的（这里在心得体会部分有讨论）。因此，需要把两部分都传给下游任务去学习。

得到每一个物品的重构向量 ${t}^{re}_{j} \in \mathcal{ T }^{re}_{u, i}$ 之后，可以根据如下图所示的公式，在每一次推荐请求的时候，利用用户行为历史中对应的物品集合，得到用户的（treatment）重构向量。其中， ${t}^{re}_{1} \in \mathcal{ T }^{re}_{u, i}$ ，而 ${p}^{}_{u}$ 是用户当次查询的其他上下文向量。

重构推荐预测的用户向量

最终，利用如下图所示的公式得到用户的推荐预测结果，并用交叉熵损失进行训练。 ${t}^{re}_{i} \in \mathcal{ T }^{re}_{u, i}$ 是目标物品的重构treatment向量。

prediction of recommendation

training objective

心得体会

扩展最小二乘

个人理解，作者提出的方法可以被理解为利用深度学习扩展的2SLS，只不过具体应用到了推荐场景，并且以历史搜索行为作为IV。可以说，使用的比较巧妙，并且融入了很强的业务。

non-causal

作者在文中提到，non-causal的部分能够帮助更好的对观测数据进行预测。个人理解，这是因为观测数据毕竟是有偏差的，无论是测试集还是训练集，所以都需要non-causal的部分。

其实，所谓的non-causal部分，在诸如Learning Decomposed Representation for Counterfactual Inference[*1]等文章中已经被进行了详细的研究，感兴趣的可以参阅因果推断深度学习工具箱 - Learning Decomposed Representation for Counterfactual Inference。

文章引用

[1] Belloni A, Chen D, Chernozhukov V, and Hansen C. 2012. Sparse models and methods for optimal instruments with an application to eminent domain. Econometrica 80, 6 (2012), 2369–2429.

[5] V. Chernozhukov, G. W. Imbens, and W. K. Newey. 2007. Instrumental variable estimation of nonseparable models. Journal of Econometrics 139, 1 (2007), 4–14.

[44] Yang Zhang, Fuli Feng, Xiangnan He, Tianxin Wei, Chonggang Song, Guohui Ling, and Yongdong Zhang. 2021. Causal Intervention for Leveraging Popularity Bias in Recommendation. In Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval (Virtual Event, Canada) (SIGIR ’21). Association for Computing Machinery, New York, NY, USA, 11–20

[*1] Wu, Anpeng, Kun Kuang, Junkun Yuan, Bo Li, Pan Zhou, Jianrong Tao, Qiang Zhu, Yueting Zhuang and Fei Wu. “Learning Decomposed Representation for Counterfactual Inference.” ArXiv abs/2006.07040 (2020): n. pag.

因果推断推荐系统工具箱 - IV4Rec（二）