Chapter 4
4.3.1
Jacobian 和 Hessian矩阵
当Hessian的所有特征值都是正的牛顿法才适用,牛顿法会受到鞍点的影响,梯度下降不会被吸引到鞍点
深度学习中的大多数问题都难以表示成凸优化的形式
KKT方法是Lagrange乘子法(只允许等式约束)的推广
KKT
Chapter 5
5.6.1
最大后验(MAP)估计
Jacobian 和 Hessian矩阵
当Hessian的所有特征值都是正的牛顿法才适用,牛顿法会受到鞍点的影响,梯度下降不会被吸引到鞍点
深度学习中的大多数问题都难以表示成凸优化的形式
KKT方法是Lagrange乘子法(只允许等式约束)的推广
KKT
最大后验(MAP)估计