文章名称
【CIKM-2021】【Rutgers University】Counterfactual Explainable Recommendation
核心要点
文章旨在对推荐模型的结果进行解释。作者构建了一个因果推断的框架，对每一个用户-物品元组求解一个优化问题，识别出在原物品的特性方面最小的改变，以至于生成的反事实物品可以反转推荐模型的结果。这些最小的特性改变被成为counterfactual explanation。此外，作者定义了两个衡量指标来量化explanation的质量。
方法细节
问题引入
可解释推荐模型，不仅可以帮助用户更好的理解推荐理由，增加对推荐系统的信任，也可以帮助开发人员debugging。原有的方法，利用物品的属性（例如，颜色等）作为推荐理由，虽然能给出可靠的解释，但是存在如下3个问题，
- 与模型和物品特征强耦合，不能用来解释其他模型
- 推荐理由单一，只能从一个角度进行解释，但一般推荐结果是受多个理由共同影响的
- 对推荐理由的量化方式并无法反映，该理由对推荐决策的真实影响（作者解释是没有考虑如果改变了某些特征值推荐结果会怎么变化。其实，就是考虑某个特征的改变对推荐结果的因果效应是多少，即做了多少贡献。当然shap也许可以计算这个，不过是从相关的角度，没有考虑偏差，也不是最小改动）。
反事实解释的案例如下图所示，上半部分是原有方法对推荐结果给出的解释，用户对各个物品特性的偏好权重如图所示（例如，屏幕4.0），则对手机A的评分总和为42（屏幕4x4.5+电池3x3+价格3x3），由于用户重视screen的权重高一些，则屏幕被认为是推荐模型决策的理由，然而，手机A的屏幕得分在所有物品里（包括未展示的物品）的得分并不高（甚至是最差的）。显然屏幕并不是左右模型推荐结果的关键因素（如果不对比所有物品的各项得分，很难发现这个解释原因的问题以及合理的解释）。
而反事实解释的角度是，最小的改变手机A（事实样本）的特征（例如，电池），直到模型的决策反转。发现电池是对模型决策影响最大的因素，作为模型决策的解释是合理的。
这个案例表明，原有的方法主要是利用匹配的方式来进行样本解释，而反事实解释则通过寻找改变预测结果的最小特征改动，来说明决策的原因。
具体做法
首先，我们看一下问题的形式化定义，
- 用户集合记作
，物品集合记作
；
- 交互矩阵记作
；
- 推荐模型为用户
返回的
推荐结果为
，如果
，则表示模型把
纳入了
- 物品的
个方向特征记作
，
矩阵表示用户有多看重
矩阵表示物品在
作者借鉴[1,2]中的方法，从用户的评论数据中，提取X和Y。简言之，作者将评论中提到的某个方面特性的次数，分别在用户和物品维度聚合，得到这个特征被提到的频次，再经过变换和归一化，得到X和Y中的元素，（当然也可以采用其他方法得到）由于不是重点，具体提取方法可以参见原论文和引文。
Counterfactual Explainable Recommendation
定义在物品的特性上做的微小改变为
，如果这种微小的改变，被应用到物品上（
），使得原来被推荐给用户的物品
，从
结果列表
中被移除，则可以认为这种改变是推荐模型的一种有意义的解释（因为，这种改变影响了模型的决策，必然是决策过程中的重要因素）。这种微小的改变中，最小的被称为反事实解释。
值得注意的是，作者表示微小的改动应该是0或者负值，因为只有在某些特性上表现不好，才会被从推荐列表中移除。
Explanation Complexity and Strength
Explanation Complexity (EC）表示给出的解释的复杂程度，包括1）有多少方面的特性被引入来解释模型决策，可以表示为中非零元素的个数
；2）多大的改动需要被应用在物品特性上，可以用
表示。
Explanation Strength (ES)表示应用微小的改变后，多大程度上改变了模型的决策，可以用排序得分的变化表示，即，其中
分别表示应用微小改动前后的排序得分。
值得注意的是，可以采用其他的计算方式来量化EC和ES，但是作者表示整体框架是不变的。并且，ES和EC是两个正交的维度，简单的解释不一定低效，复杂的解释也可能不高效。因此，反事实解释寻找的是最简单，最有效的改动作为解释。
Evaluation Methods
作者提出两种评估解释结果的量化指标，
- 面向用户的评价指标，利用用户的评论信息，定义解释中的特性与评论中提到的物品特性的重合度，并基于此计算准确率、召回率，F1得分等等。
- 面向模型的评价指标，定义了Probability of Necessity(PN)和Probability of Sufficiency (PS)，以及他们的平均值，来衡量解释的必要性与充分性。
本节介绍了在实际应用中matching-based可解释性方法的弊端，以及其与counterfactual-based方法区别。并介绍了如何反事实解释的概念以及其两个重要的量化指标。下一节将继续介绍作者提出的反事实推理框架，以及如何产出反事实解释。
心得体会
最小特征改动
反事实解释不定义为最小特征改动行不行？
作者从奥卡姆提到的原则给出解释说，解释应该具有简单和有效（低复杂度和高解释能力）的特性。因此，最小改动能够保证具有最小的复杂度，且清晰、有效的解释模型的决策原因。
个人认为，必须取最小还因为，可能存在多种组合导致模型决策反转。例如，文章最开始讲解反事实解释的案例描述的，推荐结果是靠综合各个特征的评分得来的，因此必然存在屏幕减一点，电池减的少一点，同样可以反转模型决策的情况。此时，可能无法清晰地指出那个因素是最主要的。即不好确定唯一性，解释可能模棱两可。
文章引用
[1] Yongfeng Zhang, Guokun Lai, Min Zhang, Yi Zhang, Yiqun Liu, and Shaoping Ma. 2014. Explicit factor models for explainable recommendation based on phrase-level sentiment analysis. In Proceedings of the 37th international ACM SIGIR conference on Research & development in information retrieval. 83–92.
[2] Yongfeng Zhang, Haochen Zhang, Min Zhang, Yiqun Liu, and Shaoping Ma. 2014. Do Users Rate or Review? Boost Phrase-Level Sentiment Labeling with Review-Level Sentiment Classification. In SIGIR. 1027–1030.
