主要思想:根据现有的数据对分类边界线建立回归公司,以此进行分类。
我们给定由d个属性描述的示例X = (X1;X2;X3;.....;Xd),其中Xi是X在第i个属性上的取值,线性模型试图学得一个通过属性的线性组合来进行预测的函数,即
F(X) = w1x1 + w2x2 + ... + b,一般用向量形式写成F(X) = wTX + b,
其中w=(w1;w2;....;wd),w和b学得之后,模型就得以确定了,那怎样去确定呢?
我们假定Xi预测后的方程为yi = wTXi+b + ei,ei为预测方程算出的值与真实值的误差,它是独立同分布并服从均值为0方差为w**2的高斯分布。那么确定模型的过程实际就是让e1+e2+...+en(假设有e个训练实例)最小的过程。
这张公式推导比较多,而且不太好打字,所以决定把板书直接拍照传上来。
一.公式推导
二.python实现代码
三.梯度下降法
先导入原始数据并做归一化处理: