ICA(Independent Component Analysis)

一、背景：

seeks to extract these independent components and the mixing matrix of coefficients,通过线性变换寻求统计独立和非高斯分布的潜变量

PCA:降维，去相关性（二阶统计量）

ICA: 不仅去相关性(二阶统计量），还能减少高阶统计量依赖。

注：独立一定不相关（线性）；不相关不一定独立

如果潜变量服从非高斯分布，ICA 对原始源信号的提取程度远远大于 PCA

二、模型：

其中 $X=[X(1)，X(2)，…，X(n)]\in d*n$ 是数据矩阵（与 PCA 相反，ICA 采用转置数据矩阵），

$A=[a_{1}，a_{2}，…，a_{m} ]\in d*m$ 是未知混合矩阵，

$S=[s(1)，s(2)，…，s(n)]\in m*n$ 是独立分量矩阵，

$E\in d*n$ 是残差矩阵，n 是样本数量。

我们假设 $d\geq m$ （当 $d=m$ ，残差矩阵 E变成零矩阵）。

在已知观测信号X，而源信S号和混合系数A都未知的情况下，希望找到一个分离矩阵W，以便从观测信号中分离出统计独立的源信号，即

在独立分量分析中,分离矩阵砰与混合矩阵的关系为

注：d equals m，

\hat{s}

为S的最佳估计

三、预处理

1、约束条件

为确保独立分量分析方法的顺利进行,下约束条件：

1) 源信号 $s(k)$ 的各成分是瞬时统计独立的。

2) 各源信号 $s(k)$ 服从非高斯分布，或至多存在一个源信号服从高斯分布，否则无法实现源信号的分离。

3) 观测信号 $x(k)$ 的数目不少于源信号 $s(k)$ 的数目。

2、数据预处理

1)中心化：消除数据中存在的一阶统计相关性

2)白化或球化(whitening or sphering):在标准化基础上使各分量间彼此正交，达到消除数据二阶统计相关性目的

设随机变量X的第k次采样值为x(k),则其协方差矩阵为:

$R_{x}$ 的特征值分解为：

\Lambda =[\lambda(1)，\lambda(2)，…，\lambda(m)]

是一个对角阵,其对角元素是协方差矩阵

R_{x}

的特征值；U是一个与

\Lambda

对应的特征向量按列组合而成的矩阵。

白化变换的表达式为：

白化变换矩阵Q为:

B是一个正交矩阵

白化变换后，ICA的任务从求解矩阵 $W=A^-1$ ,变为求解正交矩阵 $B$

因此，我们可以估计s(k)为： $\hat{s} (k)=B^TZ(k)=B^TQx(k)$ ,

其中 $W=B^TQ$

3、ICA的目标函数和优化算法

独立分量分析=目标函数+优化算法

1) 目标函数;非高斯的最大化

在独立分量分析的模型中，观测信号x(k)是由m个独立的源信号线性混合而成，因此它比其中任意一个源信号更加趋于高斯分布。如果能够找到一个向量w作用于混合信号x(k)，使得变换后的结果尽量偏离高斯分布，即非高斯最大化，那么得到的就是其中的一个源信号。同理,可以分离出余下的m-1个源信号。

衡量非高斯性的大小---熵

定义概率密度为f(y)的随机变量y的熵H为：

负熵J为：

y_{gauss}

是与y等方差的高斯变量，所有等方差的随机变量中，高斯变量的熵最大。

负熵近似为：

常用的G函数形式有：

2) 优化算法：FastICA

4、ICA 的排序和降维

we used a Euclidean norm L2 to sort the rows of the demixing matrix, W

可以计算分离矩阵W的行向量的欧氏范数,即其中 $\vert w_{i} \vert _{2}$ 其中i=1,2,3…d，以此为标准从大到小顺序排列行向量，然后选取前面几个范数和中所占比重大的行向量作为主部 $W_{d}$ ,剩下的作为余部 $W_{e}$ ,

四、统计量和控制限

$W_{d}$ ： dominant part of W

$W_{e}$ ： excluded part of W

$B_{d} =(W_{d} Q^-1)^T$ ； $B_{e} =(W_{e} Q^-1)^T$

$\hat{s} _{new,d} (k)=W_{d} x_{new} (k)$

$\hat{s} _{new,e} (k)=W_{e} x_{new} (k)$

统计量：

The confidence limits of the threestatistics, $I^2，I_{e}^2，SPE$ , can be obtained by kernel density estimation

控制限：

non-parametric empirical density estimates using kernel extraction

？？？

具有核 K 的单变量核估计量:

x is the data point under consideration,

$x_{i}$ is an observation value from the data set,

h is the window width (also known as the smoothing parameter),

n is the number of observations, and

K is the kernel function

窗宽 $h_{n}$ 随样本个数 $n\rightarrow ∞$ 而趋于零。当 $h_{n}$ 取得太小时，随机性的影响增加，使 $\hat{f} (x)$ 呈现很不规则的形状，这可能掩盖 $f (x)$ 的重要特性反之。 $h_{n}$ 太大，则 $\hat{f} (x)$ 将会过度平滑，使 $f (x)$ 比较细致的性质不能显露出来。