1 意义：
人工智能的目标就是最优化：在复杂环境与多体交互中做出最优决策
2 目标：
给定目标函数的最大值（最小值）是否存在，并找到令目标函数取到最大值（最小值）的数值。
3 相关概念
- 目标函数（objective function）：实现最小化或最大化的函数。
- 最优化问题:无约束优化（unconstrained optimization）:对自变量 xx 的取值没有限制.
- 梯度下降法（gradient descent）:求解无约束优化问题最常用的方法.沿着目标函数值下降最快的方向寻找最小值.
单个样本的梯度下降法:步长选择的整体规律是逐渐变小,先粗调再微调. - 多个样本时:
批处理模式（batch processing），即计算出在每个样本上目标函数的梯度，再将不同样本的梯度进行求和，求和的结果作为本次更新中目标函数的梯度。在批处理模式中，每次更新都要遍历训练集中所有的样本，因而运算量较大。
随机梯度下降法（stochastic gradient descent）,它在每次更新中只使用一个样本，下一次更新再使用另外一个样本，在不断迭代的更新过程中实现对所有样本的遍历。有趣的是，事实表明当训练集的规模较大时，随机梯度下降法的性能更佳。 - 牛顿法（Newton's method）:二阶导数
- “置信域方法”（trust region）:以步长为参数划定一个区域，再在这个区域内寻找最快下降的方向。
设定一个置信域半径 s，并在以当前点为中心、以 s 为半径的封闭球形区域作为置信域，在置信域内寻找目标函数的二次近似模型的最优点，最优点和当前点之间的距离就是计算出来的备选位移。 - 启发式算法:诞生于仿生学.遗传算法（genetic algorithm）,蚁群算法（ant colony optimization）.
- 约束优化（constrained optimization):x的取值限制在特定的集合内.线性规划（linear programming）就是一类典型的约束优化，其解决的问题通常是在有限的成本约束下取得最大的收益。通过拉格朗日乘子（Lagrange multiplier）的引入可以将含有 n个变量和 k个约束条件的问题转化为含有 (n+k)个变量的无约束优化问题。
- 拉格朗日函数:L(x,y,λ)=f(x,y)+λφ(x,y)
f(x,y) 为目标函数，φ(x,y) 则为等式约束条件，λ 是拉格朗日乘数
原目标函数和约束条件共同构成的拉格朗日函数与原目标函数具有共同的最优点集和共同的最优目标函数值，从而保证了最优解的不变性。
以上就是最优化方法。
