文章名称
【WSDM-2020】【Criteo Research】Offline A/B testing for Recommender Systems
核心要点
文章旨在构造实际可用的推荐模型离线评估器，实现没有线上AB实验的情况下，评估目标模型相对线上模型的潜在提升，快速迭代原型，筛选策略。作者提出了两个capped importance sampling[1]的两个变种，解决capped importance sampling假设过于不切实际的问题，并避免Basic Importance Sampling[3,4]与Doubly Robust[2]方法高方差的风险。
上一节介绍了DR，NIS，capping IS方法的问题，本节继续介绍capping IS的阈值选取以及度作者的启发。并介绍作者提出的NCIS方法。
方法细节
问题引入
在实际应用中，几乎没有很好的上限参数，能够产生足够小的置信区间，使得CIS可以准确判断
是否优于
。参数
本质上是Bias-Variance trade-off，但是过高的参数
，可能导致Bias-Variance trade-off失效（参见上节）。因此，实际应用中会采用比较严格的参数
。
作者进行了线上实验，来判断到底选取怎样的，能够尽可能的达到偏差-方差最优。下图展示了重要性采样权重的分布情况，横轴表示重要性权重，纵轴是该权重下的密度（每一个点代表一个样本的权重）。三条不同颜色的线分别表示不同的（密度）分位数。样本采样自
具有80%置信度优于
的权重。
下图展示了不同参数的情况下，对
收益估计的方差和偏差。红线是指标曲线，蓝色线为检测敏感度的阈值，例如，1%的提升。可以看出，在任意的一个指标（偏差或者方差）上，可以选择最优的参数
，使得测到的结果是置信的，但是无法同时满足两个指标都置信。方差的最优参数
，偏差的最优参数
。基于这个结果作者提出设计新的估计器来估计参数
引入的偏差，来实现更好的偏差-方差权衡。
具体做法
Control Variates
作者利用模型估计不同参数引入的偏差，并基于NCIS，在不同上下文场景下利用不同的参数
进行对新策略
进行收益估计。
NCIS
NCIS[5]的具体计算公式如下图所示，其中是上界所说的capped weighting。
这个公式表明，NCIS在计算一个重新调整后的期望收益，它正比于截断参数的概率密度。
接下来，我们看一下，NCIS是如何估计参数引入的偏差的。其渐进偏差如下图所示，具体证明参见原文附录。
回顾一下CIS的偏差，NCIS不是需要强制偏差为0，而是通过非截断的估计近似截断估计值。
在zero capping的场景下，NCIS的估计更为直觉。可以看出期望的估计是和动作以及
都有关系的。
当收益独立于上下文
和动作
时，收益
可以被认为独立于权重
。在这种情况下，可以认为估计是准确的。当噪声较大时，可以认为期望的近似估计是准确的。因为在这种情况下，
与
和
s的相关性很低。但是在实际场景中，这种条件仍然不能被满足。
local bias modelling
NCIS通过调整权重来弥补参数带来的偏差，然而这种补偿是全局的，数据中却存在不同的子组，具有不同的平均收益，例如不同的用户群体在相同策略下有不同的平均收益，导致用统一的比例调整权重来弥补参数
带来的偏差，不奏效。
重写上述公式2，可以得到NCIS的bias，如下图所示。上述讨论的非全局调整，意味着可能和其他confounder有关系，例如，用户类型。
因此，作者重写NCIS的偏差为如下图所示的公式，可以看出，公式中偏差是基于用户特征的，并且该偏差主要受分子的第一部分影响。推荐系统一般是基于用户原有的历史意图来对用户进行推荐，因此，可以认为
和
的相关性较大。从这个角度出发，作者提出了新的非全局补偿的NCIS。
心得体会
全局补偿
感觉公式比较多，主要是表达，现有的NCIS方法，在进行权重调整的时候，没有把用户相关的影响因素考虑进去，导致偏差大，因此，需要结合用户特征来进行权重调整。
文章引用
[1] Léon Bottou and Jonas Peters. 2013. Counterfactual reasoning and learning systems: the example of computational advertising. Proceedings of Journal of Machine Learning Research (JMLR).
[2] Miroslav Dudik, John Langford, and Lihong Li. 2011. Doubly robust policy evaluation and learning. Proceedings of the 28th International Conference on Machine Learning (ICML).
[3] JM Hammersley and DC Handscomb. 1964. Monte Carlo Methods. Chapter.
[4] Daniel G Horvitz and Donovan J Thompson. 1952. A generalization of sampling without replacement from a finite universe. Journal of the American statistical Association.
[5] AdithSwaminathanandThorstenJoachims.2015.TheSelf-NormalizedEstimator for Counterfactual Learning. Proceeding of Neural Information Processing Systems (NIPS).
