用KL divergence来估计density ratio

今天读论文遇到了用KL divergence来估计density ratio的方法，被原论文一笔带过，特意找来reference，感觉想法很不错，整理如下：

首先估计density ratio在许多方面有重要应用，比如change point detection, transfer learning等，以change point detection为例，主要目的在于检验相邻的两个状态是否发生重大变化，进而检测出发生变化的点。如果用random variable表示所在状态，那这时候，具体的density并不是特别需要，只要能比较相邻两个状态之间的变化差，就足够detect出哪个点发生变化了。而如果先分别估计两个状态的density，进而计算它们的ratio，那么可能会因为中间多估计了一个不必要的统计量，导致最后估计的ratio不准。

具体的formulation如下：

假设我们有一组 i.i.d. 的 reference sample $X^{r}=\{ x_i^{r} \}_{i=1}^{n_r}$ ，以及另外一组i.i.d. 的training sample $X^{t}=\{ x_i^{t} \}_{i=1}^{n_t}$ ，（原论文用了training set 以及 test set，但是此处这两个sets和传统机器学习中的set并不一样，所以暂且叫做reference sample，training sample以作区分）密度函数分别为 $p_r(x)$ 及 $p_t(x)$ ，其ratio记为 $w(x)$ ：

$w(x)=\frac{p_t(x)}{p_{r}(x)}$ . (1)

问题的目的为在不直接估计 $p_r(x)$ 及 $p_t(x)$ 的情况下估计 $w(x)$ 。

常用的方法为，假设 $w(x)$ 可以用以下的线性模型表示:

$\hat{w}(x)=\sum_{l=1}^b \alpha_l \phi_l(x)$ ， (2)

$\phi_l(x)$ 为basis function，一般来讲Gaussian kernel function就可以， $\alpha_l$ 为要估的参数，b为自己决定的，可以依赖于sample。根据(1)可以得到

$\hat{p}_t(x)=\hat{w}(x) p_r(x)$ . (3)

$\hat{p}(x)$ 作为 $p(x)$ 的估计，我们当然希望二者越近越好，而二者的接近程度用KL divergence来刻画:

$KL[p_t(x) || \hat{p}_t(x)] = \int p_t(x) \log \frac{p_t(x)}{\hat{w}(x)p_r(x)} dx =\int p_t(x) \log \frac{p_t(x)}{p_r(x)} dx - \int p_t(x) \log \hat{w}(x) dx$ .