[toc] 一、牛顿法 1.1 原理及公式 原理：对原始高维泰勒二阶展开用二阶近似，利用满足一阶必要条件解得一阶的极小点，类似于梯度法可得迭代公...

一、基本定义、性质和定理 凸集：任意凸集中的两点，他们的之间的线段也在该凸集中。举例：凸组合：非负加权平均性质：一个集合为凸集的充要条件是集合中...

一、基本定义、性质和定理 1.1 水平集 / 等值线 1.2 高维函数一阶可微定义： ，那么称在可微。即，且就是关于各变量的一阶偏导数组成的向量...

一、基本定义、定理和性质 泰勒公式 为极值点的必要条件：，满足该条件的点叫做驻点。 二、各种迭代算法 目的：寻找一阶导数为0的点，因此可以用作求...

问题形式： 一、基本定义和概念 单峰函数：在上存在唯一局部极小点的函数。性质1.1.1：对于单峰函数（以下都以局部极小点为例）的搜索区间，在搜索...

一、基本定义、定理 一般形式、向量形式 包含： 变量 目标函数无约束优化中目标函数的选取：最小化二次损失函数使得误差最小。 不等式约束 等式约束...