文章名称

【SIGIR-2019】【Cornell University】Intervention Harvesting for Context-Dependent Examination-Bias Estimation

核心要点

文章旨在解决L2R中审视偏差（examination bias）对模型性能造成的影响，作者认为审视偏差不仅仅和物品处在的返回结果的位置相关，同时和整个查询的特征（包括语句长短、上下文，意图，甚至查询者的性别、年龄都有关系）相关。因此，在原有Position-Based Model，PBM的基础上提出了Contextual Position-Based Mode，CPBM模型，以查询特征作为条件来估计审视偏差。

方法细节

问题引入

基于IPS的方法有效的缓解了基于隐式反馈的L2R中的position bias和数据缺失问题。
然而，现有方法假设position bias（examination bias，也就是观测或者审视偏差，表示用户是否注意到或者看到某个排在后面的推荐结果是有偏的，没有点击某个物品，可能是因为没有看到或被前面的结果吸引而被截断了，并不代表这个结果和用户的查询意图不相关或者用户不喜欢这个结果）仅仅和文本的排序位置有关，也就是所谓的position-based-model（PBM）。 但作者认为，这个偏差和用户查询时候的上下文有关系。

此外，现有方法认为所有查询受到的偏差的影响是相同的，其实不然，不同的检索意图可能导致不同的审视偏差（不仅仅是检索用到的查询语句，还可能涉及到用户的特征）。例如，1）用户输入搜索查询目的是寻找特定的网站或网页，作者称之为导航查询（navigational queries）。此时，用户审视结果时，可能更容易被截断甚至忽略相关性高排名靠前的其他网页。因为需要目标是找到自己想要的，目的性比较强；2）用户输入一个涵盖范围比较广的话题，目的是获取更多的信息，比如调研，作者称之为导航查询（informational queries）。此时，用户审视结果时，可能还有比较强的连续性，可能一个接一个的审视相关的结果。因为目标是获得更多的信息，会尽可能的看所有结果，所有结果的被审视覆盖率会比较高）。为每一个场景训练一个PBM来解决examination bias是不太现实的。而这些examination bias的区别可以用与用户和查询词/短语相关的上下文向量表示，例如查询语句的长度、查询结果集的大小以及用户的年龄等（个人理解，年龄大的偏向于更多使用泛化浏览？）。

具体做法

不同于之前的方法利用一个被所有语句共享的审视参数来消除偏差，作者提出的CPBM可利用上下文向量提供更丰富的偏差影响信息。

PBM假设，用户是否审视某个搜索的反馈结果（用随机变量表示）仅仅与反馈结果的排序相关，可以表示为条件概率。用户是否转化（点击，评分等等，用随机变量表示），是用户是否审视结果以及结果是否与查询意图相关共同作用的结果（用函数表示），可以表示为。可以看出PBM假设审视偏差（可以被理解为是一种propensity score）只与排序有关，对所有查询语句与文档元组是一样的，也就是所有查询结果共用一条propensity score曲线（关于的曲线）。

然而，如上所述，的概率和整个查询的上下文有关系，其条件概率应该被表示为，其中表示上下文向量。用户是否转化的概率可以被表示为，，也就是所谓的CPBM。可以看出，相比于PBM，1）下文向量替换了查询语句（由于上下文向量涵盖更广泛的查询信息，所以可以省略）；2）用户是否审视某一个查询反馈结果与结果的排序和上下文向量都有关系。

可以用神经网络或者其他模型建模，并且PBM只需要估计（表示我们关心的反馈结果的最长度，比如10或者20，一般评估的时候用DCG@k里边的k）。然而，CPBM要求建模，并且在每一个元组，学习模型参数。除了数据是稀疏的以外，由于我们不知道的真实值（其实是我们想要的核心值），所以很难准确估计。

下一节我们继续讲解，如何学习模型的参数。

心得体会

上下文相关

文章最大的亮点是通过数据分析和观察发现不同query的上下文会影响审视偏差，虽然这个特点被讲出来的时候很直觉，容易理解，但并不好从数据和举例中描述出来。同时，也让我们想到审视偏差可能还与其他特征相关，包括用户的查询地点，查询时段的习惯（比如办公时查的更偏向于目的明确），单个文档的长度（文档越短，用户看完一个可能更容易回到查询结果列表看下一个）等。