Linear Regression
线性回归(Linear Regression)是一种线性模型(linear model),它将各个特征进行线性组合,实现对新输入的预测
线性回归可解释性很强,因为特征对应的权值大小直接衡量了这个特征的重要性
表示形式
设每个输入x_i都有m个特征,每个特征x_ij对应一个权值w_j
对于一个输入
1.png
现有训练集T={(x1,y1),(x2,y2),...,(xN,yN)},(xi和yi的取值范围视具体情况决定),则线性回归的形式为:
2.png
属性值离散
像高度,质量,速度这种属性值连续的变量,直接把其数值赋给对应的x即可
对于属性值是离散的情况
- 如果属性的各个取值有某种顺序,也就是存在序(order)关系,那么可以通过连续化将其转化为连续值,例如高度不取连续值而是用低,中,高这三个离散值表示时,可以按低=1,中=2,高=3处理
- 如果属性的各个取值见不存在序关系,则将其转化为向量形式,比如one-hot形式,以花的颜色为例,取值为红,黄,蓝,可以将取值编码为红=(1,0,0),黄=(0,1,0),蓝=(0,0,1)
目标函数
均方误差有很好的几何含义,它表示的是欧式距离(Euclidean distance),基于均方误差最小化来进行模型求解的方差称为"最小二乘法"(least square method).在线性回归中,最小二乘法就是试图找到一条直线,使所有样本到直线上的欧氏距离之和最小
3.png
L(w,b)分别对w,b求偏导,并令偏导为0可得到w,b的解析解,关于求导细节,可以看矩阵求导
4.png
参考:
周志华,机器学习
