文章名称
【WSDM-2021】【Radboud University】Unifying Online and Counterfactual Learning to Rank
核心要点
文章旨在解决现有两类causal LTR方法不能够互相结合提升性能的问题，提出intervention-aware估计器，融合online和counterfactual LTR方法的优势，成功缓解了position bias，trust bias以及item-selection bias。
方法细节
问题引入
在现在的推荐系统中，利用用户交互行为优化排序系统至关重要，也受到了被广泛研究。当前的SOTA方法可以分为online和counterfactual两类。Online类方法在线对实时调整排序（干预结果），而counterfactual方法从历史日志中学习新的策略。然而，由于设置不同，这两类方法不能够互相促进。
训练LTR模型时需要大量的标注样本，但是在标注样本时，存在一些问题，
- 人工标注费时费力
- 一些隐私内容，如邮件等，是不适合给别人人工标注的
- 内容的理解因人而异，标注可能和真实用户反馈存在偏差。
用户的隐式反馈被记录在日志数据，可以解决上述3个问题。然而，存在其他问题，
- position bias/trust bias。用户会偏好与位置靠前的物品交互，忽略排名较低的物品。
- tem-selection bias。 未曝光的物品用户没法交互。
如前所述，当前消除偏差的方法可以分为counterfactual和online两类，两者各有优劣。尽管最近研究[11]发现一些counterfactual方法可以作为online线方法应用，或者反过来应用[5, 31]。 但是没有方法尝试结合两者的优势。
作者提出的intervention-aware估计器基于[19]和[25]的思想，并扩展两者以考虑online干预的效果。
具体做法
首先，形式化定义一下LTR的目标，
- 查询记作
，每个查询的概率记作
。
- 查询
，其中文档记作
。
- 文档的排序排序列表记作
，文档
，两者相关的概率记作
)
- 排序模型记作
，给定查询
)
- 排序模型的最终收益记作
， 其计算公式如下图所示，其中
表示计算收益的函数。
LTR reward- 假设收益用DCG衡量，则
DCG score function
如果我们知道真实的则可以利用最大似然的方法（监督学习），求解上述公式来达到最大化收益的目的，并得到最优的排序模型。然而，
是不知道的，因为有偏差的影响。
Counterfactual Learning to Rank
由于没有真实的相关性，可以通过对隐式反馈的结果，进行矫正来近似估计
之间的相关性。其中，
分别表示日志记录时，线上的策略（模型）以及线上模型返回的排序列表。下标
表示查询发生的时间，
也是一个列表，
表示了用户是否点击了文档
。引入矫正相关性的函数之后的reward估计值，可以表示为如下图所示的公式。
其中是矫正相关性函数，值得注意的是，利用上述函数优化新策略时，线上策略是不会随之变动的，所以是off-policy的，同时也是offline的。
大名鼎鼎的IPS方法（矫正函数）可以表示为如下图所示。该方法不但要求每一个物品都必须有一定的概率被审视到，同时要求在给定相关性和审视概率的情况下，在各个位置的点击概率都是一样的。**前者是因果的positivity假设，后者是unconfounderness假设也就是potential outcome和treatment assignment条件独立。
但是由于item-selection bias，这两个假设是不能满足的，所以仍然存在bias。为了纠正selection bias，policy-aware estimator[19]引入排序列表和查询来估计每一个文档在排序列表中的出现概率，并以此加权样本。具体的纠正公式如下图所示。值得注意的是，[19]证明了，在这种correction的情况下，能够尽可能满足，即便排序模型会进行top-k截断。
然而，policy-aware仍然无法解决trust bias，affine estimator[25]引入修正项，具体修正公式如下图示所示。
其中分别如下图示所示。
心得体会
反事实方法
其实之前讲了很多反事实的方法了，主要是利用reweighting的思想，在因果场景下weighting可以被理解为matching的权重，一般方法是使用IPS作为权重，当然也可以用其他的方法，所以就有了各种变种。之前也有文章讲解了OPE，文中把这种weight的方法列入了value-based方法。其实主要区别是，有没有估计每一种策略的具体值还是只比较两种策略的效果，或者说只估计新策略的效果。强化学习和因果推断其实是密不可分的。
文章引用
[5] Olivier Chapelle and Yi Chang. 2011. Yahoo! Learning to Rank Challenge Overview. In Proceedings of the Learning to Rank Challenge. 1–24.
[11] Thorsten Joachims. 2002. Optimizing Search Engines using Clickthrough Data. In SIGKDD. ACM, 133–142.
[19] Tie-Yan Liu. 2009. Learning to Rank for Information Retrieval. Foundations and Trends in Information Retrieval 3, 3 (2009), 225–331.
[25] Harrie Oosterhuis and Maarten de Rijke. 2019. Optimizing Ranking Models in the Online Setting. In ECIR. Springer, 382–396.
[31] Adith Swaminathan and Thorsten Joachims. 2015. Counterfactual Risk Mini- mization: Learning from Logged Bandit Feedback. In ICML. PMLR, 814–823.
