[toc] 一、牛顿法 1.1 原理及公式 原理:对原始高维泰勒二阶展开用二阶近似,利用满足一阶必要条件解得一阶的极小点,类似于梯度法可得迭代公式。 1.2 牛顿法的特点: ...
IP属地:四川
[toc] 一、牛顿法 1.1 原理及公式 原理:对原始高维泰勒二阶展开用二阶近似,利用满足一阶必要条件解得一阶的极小点,类似于梯度法可得迭代公式。 1.2 牛顿法的特点: ...
一、基本定义、性质和定理 凸集:任意凸集中的两点,他们的之间的线段也在该凸集中。举例:凸组合:非负加权平均性质:一个集合为凸集的充要条件是集合中有限个点的凸组合仍然在集合中。...
一、基本定义、性质和定理 1.1 水平集 / 等值线 1.2 高维函数一阶可微定义: ,那么称在可微。即,且就是关于各变量的一阶偏导数组成的向量,即梯度。 1.3. 常见高维...
一、基本定义、定理和性质 泰勒公式 为极值点的必要条件:,满足该条件的点叫做驻点。 二、各种迭代算法 目的:寻找一阶导数为0的点,因此可以用作求解方程。二次拟合方法: 2.1...
问题形式: 一、基本定义和概念 单峰函数:在上存在唯一局部极小点的函数。性质1.1.1:对于单峰函数(以下都以局部极小点为例)的搜索区间,在搜索区间上任取两点,那么应当更新函...
一、基本定义、定理 一般形式、向量形式 包含: 变量 目标函数无约束优化中目标函数的选取:最小化二次损失函数使得误差最小。 不等式约束 等式约束 包含类型 无约束优化* 有约...