文章名称
【KDD-2020】【Netflix/Spotify】Counterfactual Evaluation of Slate Recommendations with Sequential Reward Interactions
核心要点
文章旨在流式推荐系统中，准确对序列推荐模型的好坏进行离线评估的问题，以及如何改进现有序列推荐模型。现有方法要么具有较大的方差（主要是数据稀疏造成的）要么需要遵循过强的独立性假设。作者提出RIPS，基于图相关的因果关系假设，以近似估计目标策略下，页面期望收益总和的方式，来加权历史训练样本的收益进行模型训练。这种做法，使得序列推荐模型具有较低的方差，并且允许序列中的物品受到顺序交互的。同时，该方法是渐进无偏的。
方法细节
问题引入
快速迭代的推荐模型需要准确的评估，AB实验这一目标的金律，但是AB实验是很耗费资源的。因此，利用离线评估（offline evaluation）选出有效的模型,进行线上实验变得至关重要。由于日志数据受到生产环境模型的影响，具有显著的曝光偏差，这给离线评估带来了巨大的挑战。
IPS方法利用反事实的概念，利用生产策略的数据来评估目标策略。简单的说，是利用线上收益的加权平均来近似估计目标策略的平均收益。权重是给定状态下目标策略与线上策略的比值（的函数）。在状态空间和动作空间（causal里一般是treatment）比较大的情况下，IPS方法具有较高的方差的，模型稳定性较差，效果会受到影响。虽然忽略序列推荐列表中物品之间交互影响，可以减少方差，但会引入偏差。此外，序列推荐列表中，物品的交互影响很有可能对实际收益起到决定性的作用。例如，推荐播放列表中排名靠前的歌如果吸引了用户，将有极大可能降低列表中后面歌曲的跳过率。
具体做法
在介绍具体方法之前，首先形式化的定义Slate Recommendation（和序列推荐不同，并不是基于之前的流水按顺序推荐下一个，而是一次推荐一个slate，即一个版面），
分别表示线上和目标流式推荐模型。
分别表示给定的用户上下文以及一次流式推荐结果的整体收益，而
表示推荐列表中一个物品得到的收益（注意，这个收益只是观测到的收益的体现，例如购买、点击等，其对整个收益的影响并没有通过这个体现），对应的推荐物品（或者叫动作）记作
。
是一个slate集合的大小（作者提到，该大小可以在不同slate之间不同，为了简单，作者不失一般性的假设所有
- 整个slate推荐的结果集合可以表示为
。
- 在整个session中，可能总共有
次slate推荐的结果被返回，其中
分别对应了第
次slate推荐的上下文，推荐结果集以及整体收益。
- slate推荐模型的离线评估方法，主要是利用日志数据，估计目标模型
的每次slate推荐结果的收益，即估计
。
值得注意的是，作者并没有假设每一个物品或者说动作之间的收益是独立的。
IPS
在具体介绍RIPS方法之前，作者对slate推荐场景下的IPS方法进行了形式化定义，并回顾了该场景下IPS方法的局限性。
IPS方法（从offline policy evaluation的角度）是基于重要性采样的原理，对线上模型的日志数据中的收益进行加权，来估计同样场景下目标模型的收益，具体的加权方法如下图所示。
其中，各变量服从如下图所示的分布，可以看到是在给定上下文
的情况下，推荐模型返回的推荐结果，服从于是一个条件概率，即推荐模型
。类似的
也服从一个条件概率
，但这个条件概率是未知的，同样
也是未知的（事实上每个条件概率就是需要建模的对象之一，可以是神经网络等模型）。
在slate推荐的场景下，作者在causal graph上建模条件概率，来刻画slate推荐结果中，物品收益的交互影响。
同时，注意在slate场景下，SUTVA[1]（stable unit treatment value assumption）是不能满足的，一个slate下的各个位置的物品选取是互相影响的。如前所述，虽然可以把每个slate看一个action（或者说treatment）。但是，高维系数的treatment1空间会带来更大的方差。
本节介绍了slate推荐场景下离线评估目标模型的背景和挑战，并介绍了作者在该场景下对IPS方法的定义。下一节继续介绍如何解决IPS存在的问题。
心得体会
Slate Recommendation
当前推荐物品的布局和推荐方式五花八门。在单物品流式推荐场景下，用户一个接一个的接受推荐的结果，并作出反馈。此时，推荐模型可以是online Recommendation，也可以是sequential Recommendation。不过，该场景也可能一次返回一个slate，只是用户看不到。个人感觉，这种同一次展示多个结果的推荐模型类似，无论单列还是双列，还是类似搜索引擎结果也的推荐，返回的都是一个slate。通常情况下用L2R优化。但是现金的许多推荐模型，过渡到更高级的“list-wise“，也就是slate Recommendation。不过本质上，都是为了解决如何返回一个好的结果集合的问题。
文章引用
[1] G. W. Imbens and D. B. Rubin. Causal inference in statistics, social, and biomedical sciences. Cambridge University Press, 2015.
