文章名称
【KDD-2020】【Adrem Data Lab/Criteo AI Lab】Joint Policy-Value Learning for Recommendation
核心要点
文章旨在提升现有基于off-policy或反事实学习的推荐模型的效率。作者分析首先分析现有方法在随机的、系数的奖励下效果不佳的原因，并提出一种IPS方法的对数变种，解决该问题。进一步，通过提升优化目标的凸性加速模型的优化求解。此外，基于一定假设，可以将CRM和MLE的目标结合，共同优化，提出了Dual Bandit。
方法细节
问题引入
通常我们采用离线评估的方法，估计新模型的线上效果。但许多文章[8, 14, 35]表明，离线评估结果和线上评估结果的相差较大，甚至多次测评的结果大相迳庭[5, 32]。因此，我们需要鲁棒的、可复现的、与线上指标相近的离线评估方法。
强化学习领域的研究中经常需要利用现有方法的数据（通常称之为bandit feedback，一般指所谓的看见的结果我知道，没看见的结果我没有标签。也算是一种数据缺失吧），去评估某一（新）方法的性能。反事实相关的方法，通常采用重要性采样的方式对现有数据进行权重调节，进而估计新方法中未观测到的反事实的结果。然而，我们拿到的数据中，要么不含有倾向性得分（日志里没有记录线上模型的预测概率），要么倾向性得分过小，导致估计结果具有高方差（时准时不准）。当前许多方法提出利用模拟环境帮助模拟在线A/B实验，但这种方法相对费力（个人觉得，这种方法类似causal inference中去估计给定策略的causal effect或者uplift）。
Offline Policy Learning（OPL）以及 Counterfactual Risk Minimization (CRM)，或者其他离线寻找最优策略的方法，利用bandit feedback来直接学习最优策略。但是，这些现有的方法的基本假设与实际的推荐场景存在着一定差距，例如，随机性和稀疏性。并且推荐场景下，动作空间一般非常大，如果能把问题变成凸优化，那么将非常有吸引力，因为可以快速求解，比如利用L-BFGS。
具体做法
因此，作者首先研究了在推荐场景下，为什么OPL和CRM会失效，并提出了IPS估计器的一种对数变化方法，可以将目标映射到凸问题集上，得到加权多项式对数似然目标，该似然降低原始目标的优化复杂度，该方法在理论上与[27]提出的Policy Improvement Lower-bound (PIL)类似。
此外，分析了value-base和policy-based的方法，并发现它们在某些假设下具有相同的参数化表示形式。基于此，作者提出了Dual Bandit (DB)。它是一种混合学习目标，结合了MLE和CRM，统一了value-base和policy-based的方法，兼具两者的优势，不仅缓解了propensity overfitting的问题，也利用value-base方法的特点，有效的利用了负反馈（展示但是没有点击的）。
在介绍DB之前，我们先回顾一下问题的形式化定义，value-based以及policy-based方法（注意这里的value-base和policy-base不是强化学习里边的定义，而是bandit feedback的定义）。
表示logged bandit feedback，其中每一个样本表示为元组
，分别表示上下文向量，被选取的动作标号，该动作被选取的概率，以及最终的收益。作者提到利用
来表示被选取的动作的one-hot向量。
- 线上策略记作
（实际上是一种从上下文到动作映射，
，所谓动作也就是可以被推荐的物品。），每一个样中的
。
Value-based Approaches
这里的Value-based主要是指估计每一种可能的策略的结果，采用一种监督学习的流程，通过最大化MLE（而不考虑CRM）来预测新策略的效果。Value-based方法的通用形式可以表示为下图，其中表示非线性函数（如果是binary的输出，那就是sigmoid函数，
是参数。
表示Kronecker product。
通常通过优化交叉熵的方式优化输出binary形式的结果的模型。
最终，利用贪心法（或者说deterministic的方式）得到最优策略。
我们面对的是离线评估策略的问题，不可避免的要面对covariate shift[39]的问题，也就是logged数据中出现的概率和新策略下这个元组的出现概率是不同的。一般利用重要性采样来解决这个问题，重要性采样的权重为
。
如果某种元组在线上策略记录的数据中很少出现，那么对这种元组收益的估计不确定性就会很大，也就是说会有较大方差（也就是propensity方差大的原因）。进一步，如果线上策略和新策略的元组重合度比较低，那么整体评估结果会很差。然而，我们评估的新策略，一般都和原始策略会有较大差异（不然优化的收益也就很小）。因此，通常估计的效果都不太好。
更值的主要的是，上边说的不确定性的增加，其实也是由于数据稀疏性导致的。动作空间越大，越系数，不确定性也就越大。因此，在推荐场景中，更难准确评估结果。
本节描述了作者研究的问题背景以及现有方法的问题，回顾了bandit feedback的形式化定义以及所谓的value-based方法。下一节继续介绍policy-based方法以及作者提出的DB方法。
心得体会
logged bandit feedback
个人理解，也可以作为动作，特别是当我们返回的是一个推荐top-k列表，当然这种就类似list-wise的优化，常见于slate recommendation。这里的难点在于考虑顺序，并且考虑子动作之间的内在关系和影响。或许，同样的方法可以用来进行粗排和精排吧，这种改动都比较简单。
而其中实际上是记录的propensity score，一般现在的文章特别是利用causal inference做推荐系统debias的文章，都不要求记录propensity score。这种要求只在bandit feedback的框架下才比较重要。如果没有记录这个概率，只能把曝光的物品的概率视为1，可能会有偏差。但是，同样也会遇到，尽管预测概率低，但是由于运营的人工干预（这里体现了推荐的复杂性），导致propensity和最终曝光不一致。
BCQ
熟悉强化学习的朋友应该对BCQ不陌生，在限定范围内保证IS的方差不过大是BCQ的初衷，能够保证有效的优化和评估。其实核心还是希望两个策略偏差不要太大。但是这种优化在大动作空间下，效率堪忧，注定无法有效应用于推荐。
文章引用
[5] M.F.Dacrema,P.Cremonesi,andD.Jannach.2019.AreWeReallyMakingMuch Progress? A Worrying Analysis of Recent Neural Recommendation Approaches. In Proc. of the 13th ACM Conference on Recommender Systems (RecSys ’19). ACM, 101–109.
[8] F.Garcin,B.Faltings,O.Donatsch,A.Alazzawi,C.Bruttin,andA.Huber.2014. Offline and Online Evaluation of News Recommender Systems at Swissinfo.Ch. In Proc. of the 8th ACM Conference on Recommender Systems (RecSys ’14). 169–176.
[14] O.Jeunen.2019.RevisitingOfflineEvaluationforImplicit-feedbackRecommender Systems. In Proc. of the 13th ACM Conference on Recommender Systems (RecSys ’19). ACM, 596–600.
[27] Y. Ma, Y. Wang, and B. Narayanaswamy. 2019. Imitation-Regularized Offline Learning. In Proc. of the 22nd International Conference on Artificial Intelligence and Statistics (AISTATS) (AIStats ’19, Vol. 89). PMLR, 2956–2965.
[32] S. Rendle. 2019. Evaluation Metrics for Item Recommendation under Sampling.
arXiv:1912.02263 [cs.IR]
[35] M. Rossetti, F. Stella, and M. Zanker. 2016. Contrasting Offline and Online Results when Evaluating Recommendation Algorithms. In Proc. of the 10th ACM
Conference on Recommender Systems (RecSys ’16). ACM, 31–34.
[39] H. Shimodaira. 2000. Improving predictive inference under covariate shift by weighting the log-likelihood function. Journal of Statistical Planning and Inference 90, 2 (2000), 227 – 244.
