本节我们将介绍另外一种经典的共轭梯度法，即是
共轭梯度法。
1、引言
HS 共轭梯度法是由
和
于1952 年在求解线性共轭梯度法中提出，后来被用于求解非线性无约束优化问题。
共轭梯度法的一般形式为：
其中参数
由以下公式计算：
%7D%7Bd_%7Bk-1%7D%5ET(g_k-g_%7Bk-1%7D)%7D.%5Ctag%7B3%7D)
2、收敛性分析
我们把方法-(3)~)
称为方法。与
方法相比，
方法一个重要的性质是，我们令
，则有如下共轭关系式成立
证明：%5ETy_%7Bk-1%7D%5C%5C%20%26%3D-g_k%5ETy_%7Bk-1%7D%2B%5Cfrac%7Bg_k%5ET%20y_%7Bk-1%7D%7D%7Bd_%7Bk-1%7D%5ETy_%7Bk-1%7D%7Dd_%7Bk-1%7D%5ETy_%7Bk-1%7D%3D0%5Cend%7Balign%7D)
上面~)
式不论线搜索是否精确，总是成立的。但方法的理论性质和计算表现与方法很类似。如果线搜索是精确的，因为
，于是有
同样也有，采取精确线搜索的方法对一般非凸目标函数不一定收敛。如果线搜索满足
%5Cle%20f(x_k)%2B%5Crho%5Calpha_k%20g_k%5ET%20d_k%5Ctag%7B6%7D)
和
%5ET%20d_k%5Cge%5Csigma%20g_k%5ET%20d_k%5Ctag%7B7%7D)
其中
，以及线搜索使得充分下降条件成立，即存在
，使得
则显然有下式成立
%5Cvert%20g_%7Bk-1%7D%5ET%20d_%7Bk-1%7D%5Cvert%5Cge%20(1-%5Csigma)c%5CVert%20g_%7Bk-1%7D%5CVert%5E2%5Ctag%7B9%7D)
设存在
和
使得下式成立，即
对于方法，可以取
c%5Cgamma%5E2%7D%5Ctag%7B11%7D)
以及
c%5Cgamma%5E2%7D%7B2L%5Coverline%7B%5Cgamma%7Db%7D%5Ctag%7B12%7D)
因为~)
和~)
，使得性质)
成立，令
则我们便有如下定理，证明过程类似与方法，故省略。
定理 1：设目标函数~)
水平集有界，且导数
连续，考虑
方法(1)-(3)，其中步长因子
满足
条件~)
和~)
以及充分下降条件~)
，则方法给出
。
在线搜索满足强条件的假定下，我们知道可以将
共轭梯度法中的充分下降条件改为下降条件。戚后铎![^{[1]}](https://math.jianshu.com/math?formula=%5E%7B%5B1%5D%7D)
考虑了如下修正的方法：
并在无充分下降条件下，建立了方法的全局收敛性。
3、参考文献
[1] 戚后铎, 韩继页, 刘光辉. 修正
共轭梯度法. 数学年刊, 1996(3): 277-284.
[2] 戴彧虹. 非线性共轭梯度法. 2000, 科学出版社.
