文章名称

Bias and Debias in Recommender System: A Survey and Future Directions

核心要点

上一节中，我们介绍了如何在评价模型的时候消除Exposure Bias的影响，这节我们聊一下，现有方法是如何在训练阶段消除Exposure Bias的。

方法细节

问题引入

具体做法

Exposure Bias

解决曝光偏差的方法的核心是如何对隐式负反馈进行调整。如前所述，由于曝光偏差的存在，我们并不能把所有的隐式负反馈都当做是真正的负反馈（即不喜欢），而有可能存在喜欢但是没有被曝光到的可能。因此，我们可以估计一个置信度，也就是到底有多大的可能这个负反馈代表真正的不喜欢。说白了还是进行样本的权重调节，只是这种权重调节代表了置信度。调权后的目标函数如下图所示，其中代表了样本权重（正样本也有权重），表示user-item对的实际交互，代表样本的交互结果的估计值，表示某种损失，例如交叉熵损失。

objective function

启发式的

简单粗暴地方法，如 WMF[1] and dynamic MF [2]，对所有正样本都赋予权重1，表示不进行调节。而对所有的负样本赋予一个固定的权重，表示降权考虑负样本。缺点是并没有起到对负样本进行区分的目的（区分出哪些是真正的不喜欢）。于是[3], [4]考虑利用用户的活跃程度来对样本进行调节，背后的核心理念是，越活跃的用户所表现出来的信息应该更可靠（所谓见多识广，曝光偏差在这些用户上可能会小一些），因此。就像有用户协同过滤就有物品协同过滤一样,[5]， [6]利用物品的流行度来进行权重调节，也就是越流行的物品就越容易被曝光（那就降低一些权重吧）。[7]则从user-item的相关程度的角度考虑，越相关的理论上反馈的结果更可信。
[76]则利用用户的偏好的预估，定义了理论上的损失函数。样本是通过user-item的偏好程度来调权的（这正是我们想要的），其中就是我们所说的偏好。

ideal loss

propensity loss

采样

通常，利用启发式的方法还是粒度太粗了，很难通过有效的启发式方法，精确度为每一个user-item对，匹配合适的置信度权重。因此，出现了第二类方法，利用采样的方法来决定用哪些样本来更新参数，以及以什么样的频次更新参数，以此达到调整分布的目的。例如，我们从中进行采样，其中可以被理解为是充当了数据置信权重的角色。

sampling loss

心得体会

objective function

其实是某种样本调权，并且这里的正样本也可以有相应的权重调节。例如是否减少对过渡曝光的样本的看重程度。个人感觉这里虽然都是用一个权重表示，但是这个权重在正反馈样本和负反馈样本之间启到的作用是不一样的。也许应该有所区分。

文章引用

[1] Y. Hu, Y. Koren, and C. Volinsky, “Collaborative filtering for implicit feedback datasets,” in ICDM. Ieee, 2008, pp. 263–272.
[2] R. Devooght, N. Kourtellis, and A. Mantrach, “Dynamic matrix factorization with priors on unknown values,” in KDD, 2015, pp.189–198.
[3] R. Pan and M. Scholz, “Mind the gaps: weighting the unknown in large-scale one-class collaborative filtering,” in KDD, 2009, pp. 667–676.
[4] R. Pan, Y. Zhou, B. Cao, N. N. Liu, R. Lukose, M. Scholz, and Q. Yang, “One-class collaborative filtering,” ICDM, pp. 502–511, 2008.
[5] X. He, H. Zhang, M.-Y. Kan, and T.-S. Chua, “Fast matrix factorization for online recommendation with implicit feedback,” in SIGIR. ACM, 2016, pp. 549–558.
[6] H.-F. Yu, M. Bilenko, and C.-J. Lin, “Selection of negative samples for one-class matrix factorization,” in SDM. SIAM, 2017, pp. 363–371.
[7] Y. Li, J. Hu, C. Zhai, and Y. Chen, “Improving one-class collaborative filtering by incorporating rich user information,” in CIKM, 2010, pp. 959–968.
[8] Y. Saito, S. Yaginuma, Y. Nishino, H. Sakata, and K. Nakata, “Unbiased recommender learning from missing-not-at-random implicit feedback,” in WSDM, 2020, pp. 501–509.
[9] S. Rendle, C. Freudenthaler, Z. Gantner, and L. Schmidt-Thieme, “Bpr: Bayesian personalized ranking from implicit feedback,” in UAI. AUAI Press, 2009, pp. 452–461.
[10] J. Ding, F. Feng, X. He, G. Yu, Y. Li, and D. Jin, “An improved sampler for bayesian personalized ranking by leveraging view data,” in Companion of the The Web Conference 2018 on The Web
Conference 2018. IW3C2, 2018, pp. 13–14.
[11] X. Wang, Y. Xu, X. He, Y. Cao, M. Wang, and T.-S. Chua, “Reinforced negative sampling over knowledge graph for recommendation,” in Proceedings of The Web Conference 2020, 2020,
pp. 99–109.
[12] C. C. Johnson, “Logistic matrix factorization for implicit feedback data,” NeurIPS, vol. 27, 2014.
[13] Y. Wu, C. DuBois, A. X. Zheng, and M. Ester, “Collaborative denoising auto-encoders for top-n recommender systems,” in WSDM. ACM, 2016, pp. 153–162.
[14] X. He, L. Liao, H. Zhang, L. Nie, X. Hu, and T.-S. Chua, “Neural collaborative filtering,” in WWW. ACM, 2017, pp. 173–182.
[15] X. He, K. Deng, X. Wang, Y. Li, Y. Zhang, and M. Wang, “Lightgcn: Simplifying and powering graph convolution network for recommendation,” in SIGIR, 2020, pp. 639–648.
[16] J. Ding, Y. Quan, X. He, Y. Li, and D. Jin, “Reinforced negative sampling for recommendation with exposure data,” in IJCAI. AAAI Press, 2019, pp. 2230–2236.
[17] J. Chen, C. Wang, S. Zhou, Q. Shi, Y. Feng, and C. Chen, “Samwalker: Social recommendation with informative sampling strategy,” in The World Wide Web Conference. ACM, 2019, pp. 228–239.