1. Taylor 公式
通过函数的高阶导数来逼近函数的值
2.导数
一阶导数就是函数的斜率,是函数变化快慢的反应
二阶导数是函数斜率变化快慢,用于判断函数的凹凸性
3. 常见函数的导数
4. 导数的运算法则
5. 复合函数运算法则
6. 空间解析几何和向量代数
7. 多元函数微分法
8. 方向导数和梯度
9. 曲线的凹凸性和拐点
凹凸性的判别
凸函数的一般形式
凸函数的性质应用
凸函数的作用
为什么要求是凸函数呢?因为如果是下图这样的函数,则无法获得全局最优解
10. 凸集
集合C内任意两点间的线段均在集合C内,则成集合C为凸集
其几何意义表示为:如果集合C中任意2个元素连线上的点也在集合C内,则C为凸集
凸集作用
因为如果可行域不是凸集,也会导致局部最优
11. 函数的极值及其求解的步骤
12. 多元函数求极值
在多元函数中求极值的方法类似,只是在判断凹凸性引入一个矩阵,叫做Hessian矩阵。如果实值多元函数在定义域内二阶连续可导,那么我们求它的极值,首先对所有求偏导,得到方程如下
通过这个n个方程可以求解驻点M,这个驻点是一个长度为n的一维向量,但是这个驻点有2中情况,分别是:局部最大值,局部最小值和非极值
所以引入Hessian矩阵,来判断多元函数的凹凸性问题。
Hessian矩阵是一个多元函数的二阶偏导数构成的方阵,描述了函数的局部曲率,常用于迭代法解决优化问题
如果函数在定义域内二阶连续可导,那么Hessian矩阵在定义域内为对称矩阵,因为如果函数连续,则二阶偏导数的求导顺序没有区别
Hessian矩阵判断
(1)如果是正定矩阵,则临界点处是一个局部极小值
(2)如果是负定矩阵,则临界点处是一个局部极大值
(3)如果是不定矩阵,则临界点处不是极值
实二次型矩阵为正定二次型的判断方法
判断一个矩阵是否是正定方法 :
1、顺序主子式:实对称矩阵为正定矩阵的充要条件是的各顺序主子式都大于零。
2、特征值:矩阵的特征值全大于零,矩阵为正定。矩阵的特征值全小于零,矩阵为负定。否则是不定的。
13. 最速下降法求解函数极值
14. 拉格朗日乘子法