LDA的基本思想
给定训练样本，设法将样本投影到一条直线上，使得同类样例的投影点尽可能的接近，异类样例的投影点尽可能的远。在对新样本进行分类时，将其投影到同样的这条直线上，再根据新样本投影点的位置确定类别。
二维示意图.PNG
也就是让同类样本的投影点尽量集中再一块，不同样本的投影点尽量分离。
LDA算法原理
下面我就简单分析一下该算法，详细可参考周志华老师的《机器学习》这本书，讲得很好。
原理描述1.PNG
原理描述2.PNG
看到这里不禁会想到为什么要最大化（3.32）式子呢？
根据协方差的计算公式：
协方差公式.png
要使同样例的投影点尽可能的接近，那么就需要X - E[X]的值要越小，也就是让协方差尽可能的小，所以要最小化
投影点协方差.png
而要让不同类别之间的距离尽可能的大，那么两个不同类的别均值向量在直线上的投影点之间的距离越大，已知均值向量在直线上的投影点是
均值向量在直线上的投影点.png
两个投影点之间的距离则是
两个投影点之间的距离.png
综合起来式子（3.32）就是最大化目标。
继续看原理的推导
散度矩阵.PNG
原理3.PNG
原理4.PNG
LDA二分类算法的实现
#二分类的LDA算法
#输入数据：x1列向量
#输入数据：x2列向量
def LDA(x1, x2):
n1 = shape(x1)[0]
n2 = shape(x2)[0]
m = n1
print("m = ", m)
x1_mean_vector = np.mean(x1.T)
x2_mean_vector = np.mean(x2.T)
print("x1_mean_vector = ", x1_mean_vector)
print("x2_mean_vector = ", x2_mean_vector)
sigma1 = (x1 - x1_mean_vector).T * (x1 - x1_mean_vector)
sigma2 = (x2 - x2_mean_vector).T * (x2 - x2_mean_vector)
Sw = sigma1 + sigma2
print("Sw = ", Sw)
w = Sw.I * (x1_mean_vector - x2_mean_vector)
return w
代码很简单，完完全全就是按照公式写的。
完整代码
from numpy import *
import numpy as np
import matplotlib.pyplot as plt
import math
#创建N*M个测试数据
#输入数据：N 每一个类别的样例数量
#输入数据：M 类别的数量
def create_data(N, M):
X = mat(zeros((N, M)))
Y = mat(zeros((N, M)))
k = 0
for i in range(M):
for j in range(N):
X[j, i] = random.uniform(2 + k * 8, 8 + k * 8)
Y[j, i] = (random.uniform(2, 15) + 10)
k += 1
return X,Y
#二分类的LDA算法
#输入数据：x1列向量
#输入数据：x2列向量
def LDA(x1, x2):
n1 = shape(x1)[0]
n2 = shape(x2)[0]
m = n1
print("m = ", m)
x1_mean_vector = np.mean(x1.T)
x2_mean_vector = np.mean(x2.T)
print("x1_mean_vector = ", x1_mean_vector)
print("x2_mean_vector = ", x2_mean_vector)
sigma1 = (x1 - x1_mean_vector).T * (x1 - x1_mean_vector)
sigma2 = (x2 - x2_mean_vector).T * (x2 - x2_mean_vector)
Sw = sigma1 + sigma2
print("Sw = ", Sw)
w = Sw.I * (x1_mean_vector - x2_mean_vector)
return w
#显示图形
def show_experiment_plot(X, Y, W):
n,m = shape(X)
x_label_data_list = arange(0, 30, 0.1)
x_label_mat = mat(zeros((1, 300)))
for i in range(300):
x_label_mat[0, i] = x_label_data_list[i]
y_label_mat = W * x_label_mat
plt.plot(x_label_mat, y_label_mat, "ob")
for i in range(m):
if i % 2 == 1:
plt.plot(X[:, i], Y[:, i], "or")
else:
plt.plot(X[:, i], Y[:, i], "og")
plt.show()
if __name__ == "__main__":
x1,x2 = create_data(10, 2)
w = LDA(x1[:, 0], x1[:, 1])
print("W = ", w)
show_experiment_plot(x1, x2, w)
print("------------------------")
实验结果
实验结果1.PNG
实验结果2.PNG
