-
多元函数的泰勒展开式
image-20200403212859301.png
-
牛顿法
牛顿法是梯度下降法的进一步发展，梯度利用目标函数的一阶偏导数信息，以负梯度方向作为搜索方向，只考虑目标函数在迭代点的局部性质；而牛顿法不仅使用目标函数的一阶偏导数，还进一步利用目标函数的二阶偏导数，这样就考虑了梯度变化的趋势，因而能更全面的确定合适的搜索方向以加快收敛，它具有二阶收敛速度（即牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑在走了一步之后，坡度是否会变得更大，所以说牛顿法比梯度下降法看的更远一点，能更快的走到最底部）。但牛顿法存在两个缺点：
对目标函数有较严格的要求，函数必须具有连续的一、二阶偏导数，海森矩阵必须正定。
计算相当复杂，除需计算梯度而外，还需计算二阶偏导数矩阵和他的逆矩阵。计算量、存储量均很大，且均以维度N的平方比增加，当N很大时这个问题很突出。
-
拟牛顿法
img -
参考：主要参考《统计学习方法》附录B
