线性回归
优点：建模迅速，对于小数据量、简单的关系很有效；易理解。
缺点：不能处理非线性；不能处理数据特征间具有相关性的多项式回归；难以表达高度复杂的数据。
岭回归
算法流程
平方误差
矩阵形式
对A求导：
最小二乘法
由于样本数量n约等于特征数量p时，易过拟合。
岭回归在平房误差基础上增加正则项，通过确定的值来平衡偏差和方差。
新的误差公式
注：I为对角矩阵
优点：可以解决特征数量>样本量多的过拟合问题；可以判断特征的重要程度；增加偏差的同时减小方差。
缺点：它缩小了系数的值，但没有达到零，这表明没有特征选择功能。
适用：用于过拟合严重或各变量之间存在多重共线性的情况。
LASSO回归
与岭回归的正则项不同
L1正则
优点：L1范数倾向于产生稀疏系数，能起到“降维”的作用；比Ridge效率高
