正则化是通过改变模型参数来防止过拟合的一个方法。
前面使用多项式回归,如果多项式最高次项比较大,模型就容易出现过拟合。正则化是一种常见的防止过拟合的方法,一般原理是在代价函数后面加上一个对参数的约束项,这个约束项被叫做正则化项(regularizer)。在线性回归模型中,通常有两种不同的正则化项:
1.加上所有参数(不包括thea 0)的绝对值之和,即l1l1范数,此时叫做Lasso回归
2.加上所有参数(不包括thea 0)的平方和,即l2l2范数,此时叫做岭回归
正则化是通过改变模型参数来防止过拟合的一个方法。
前面使用多项式回归,如果多项式最高次项比较大,模型就容易出现过拟合。正则化是一种常见的防止过拟合的方法,一般原理是在代价函数后面加上一个对参数的约束项,这个约束项被叫做正则化项(regularizer)。在线性回归模型中,通常有两种不同的正则化项:
1.加上所有参数(不包括thea 0)的绝对值之和,即l1l1范数,此时叫做Lasso回归
2.加上所有参数(不包括thea 0)的平方和,即l2l2范数,此时叫做岭回归