1 拉格朗日乘子法的数学背景 当使用前面介绍的罚函数法求解约束问题时，为获得足够好的近似解，罚参数需取足够大的值，这将导致增广目标函数的黑...

1 约束最优化问题 1.1 约束最优化问题的基本结构 在我们讨论完无约束最优化问题后，我们接着讨论约束最优化问题。在无约束最优化问题中，我...

1 基本数学表达 在前面3节中，我们使用了不同下降方法来求解同一个非线性最小二乘问题，但其实非线性最小二乘问题只是这些下降方法能够求解的问...

1 共轭方向的定义 对于正定二次函数，其中是对角阵，对角元均为正数，这种情况下函数关于原点中心对称，每列由一个n元向量组成，向着每个维度，...

1 拟牛顿法的数学基础 对于牛顿法，我们保留其快速收敛性，同时克服牛顿法黑森矩阵需要正定的问题以及避免计算黑森矩阵以减少计算量，我们提出了...

1 下降算法中的搜索方向 1.1 下降方向的判定 根据泰勒展开，忽略极小项后，我们可以在点处找到的一条切线，这条切线的斜率是。我们不难得出...

在上节中本教程介绍了迭代搜索的基本步骤。考虑基本步骤中的每一步的基本元素：步长、下降方向和终止准则，其中终止准则是我们已经明确给出的，而步长和下...

1 最优化问题 1.1 什么是最优化问题 最优化问题大体上分为连续最优化问题和离散最优化问题两种。后者涉及到离散数学、组合数学等学科，属于...