ICA的4要素：
- X->Y为线性变换
- 新特征空间中 Y_i 之间相互统计独立。即I(Y_i,Y_j)=0
- 可逆。X->Y，同时 Y->X。
- 新特征Y_i 与原始特征X_i有较高的互信息 即I(Y_i,X_i)=正无穷
image.png
应用背景
根据观察变量X，经过线性变化，推测出互相独立的隐变量Y。
image.png
Blind source separation 盲源分离demo
如下图，鸡尾酒会中有3个人同时说话，3个人的声音经过线性叠加（物理学原理）分别记录到了3个麦克风中，任务是：根据3个麦克风的录音，独立分离出3个人的说话内容。
注意：必须同时使用3个麦克风才能恢复出原始声音，只使用1个或两个麦克风是实现不了的！
image.png
PCA 与 ICA 区别
image.png
通过例子说明 PCA 与 ICA 区别
PCA针对全局找特征，而ICA会针对局部找特征，因此：
- 针对人脸数据集
PCA找出的特征代表 亮度脸、平均脸。。。等全局的特征脸；而ICA找出的成分则是：鼻子、嘴巴、眼睛这种信息。 - 针对景观数据集
PCA还是找到的亮度图。。ICA会检测出edges成分。 - 针对文档数据集
PCA是找到是？。。ICA会检测出topics成分。
image.png
RCA
RCA：随机成分分析，也叫随机投影。随机选择投影方向（不是向PCA选择方差最大的方向），因此投影矩阵是随机的。实验表明这种方式很有效，原因没搞明白，可能就是集成，类比猴子扔飞镖决策效果优于投资者的例子。最大优点是随机投影运行速度极快！
LDA
线性判别分析。
PCA、ICA、RCA都是无监督的。LDA是监督算法。LDA会根据标签，选择线性投影矩阵，这在分类问题上很适用。
