上节我们研究了线性共轭梯度法，线性共轭梯度法的研究对象是二次函数，且采取的线搜索为精确线搜索。为此可以产生共轭向量组，具有二次终止性。所谓的二次终止性，并不是迭代两次就终止，而是对于二次函数且采取精确线搜索能够有限步终止。基于二次函数的良好性质，我们将推广到一般函数，采用一般线搜索。实际计算中，发现方法是有效的。便有了非线性共轭梯度法，在不引起混淆的情况下，非线性共轭梯度法也被称为线性共轭梯度法。
  对共轭梯度法的研究主要集中在参数的选择，混合共轭梯度法，多项共轭梯度法和谱共轭梯度法等方面。

1、前言

  共轭梯度法是无约束优化方法，主要解决如下问题

解决问题 (1)，我们采用是线搜索的迭代方法，即

其中是搜索方向，是搜索步长，无论是混合共轭梯度法，谱共轭梯度法或者是多项共轭梯度法，只是方向不同。

2、经典共轭参数的选择

  一般地，共轭梯度法的搜索方向为

1952 年，Hestenes 和 stiefel在线性共轭梯度法中提出

1964 年，Fletcher 和 Reeves首次提出了非线性共轭梯度法

1969 年，Polak , Ribiere 和 Polyak 提出

1987 年，Fletcher 提出

1991 年，Liu 和 Storey 提出

1998 年，戴彧虹 和 袁亚湘 提出

2001年，戴彧虹 和 Liao 提出

其中，.
2005 年，Hager 和 Zhang 提出

其中

  以上是八种经典的共轭梯度法，其收敛性会在后面详细介绍。

3、混合共轭梯度法

  为了利用各种基本共轭梯度法的不同优点，许多学者采用了不同共轭梯度法的巧妙组合。

Gilbert 和 Nocedal为保证算法的收敛性和具有较好的数值表现，取

戴雨虹 和 袁亚湘 提出了混合 DY 和 CD 共轭梯度法

焦宝聪，陈兰平 和 潘翠英 提出混合 DY 和 FR 共轭梯度法

  以上只是列出几种混合梯度法而已，具体他们有什么性质，收敛性的证明，后面会有更加全面的介绍。

4、多项项共轭梯度法

   基本的共轭梯度法是负梯度方向与前一搜索方向的组合，许多学者在此基础上，研究了负梯度、前一搜索方向或位移、梯度差的各种形式，得到了多项共轭梯度法。多项共轭梯度法中最主要的形式还是三项共轭梯度法。

2006 年，张丽，周伟军，李董辉提出了改进的 PRP 共轭梯度法，得到了如下的三项共轭梯度法

2011 年，Narushima，Yabe 和 Ford得到了一般的三项共轭梯度法

其中为任意向量
同年，Andrei 将 PRP 公式改进为

其中.

5、谱共轭梯度法

  谱共轭梯度法是由谱梯度法和共轭梯度法发展而来。谱梯度法又称 BB 算法，最早是由 Barzilai 和 Borwein 于 1988 年为求解无约束优化问题 (1) 提出来的。BB 方法的主要思想是在最小二乘意义下，生成能够逼近目标函数 Hesse 矩阵的逆矩阵，其迭代具有以下形式

其中

BB 方法可以看成是最速下降法的改进，优点是它的数值表现远远好于最速下降法。
  2001 年，Birgin 和 Martinez 将谱梯度和共轭梯度相结合，提出了谱共轭梯度法，其搜索方向如下

其中



我们把 (1) 的方法称为谱共轭梯度法，但是上式的谱共轭梯度法不能保证是下降算法。
  张丽, 周伟军提出一种谱共轭梯度法

6、结束语

，

7、参考文献

[1] Hestenes M R, Stiefel E. Method of conjugate geadient for linear equations[J]. Research of the National Bureau of Standards, 1952, 49(6): 409-436
[2] Flecher R, Reeves C. Fuction minimization by conjugate gradient gradients[J]. Computer Journal, 1964 7(2): 149-154.
[3] Polak E, Ribiere G. Note surla convergence de directions conjugate[J]. Rev Fr Inform Rech Oper, 1969, 16(3): 35-43.
[4] Polyak B T. The conjugate gradient method in extreme problems. USSR Comput Math Phys, 1969, 9(1): 94-112.
[5] Fletcher R. Practical methods of optimization, vol I: unconstrained optimization[M]. New York: John Wiley and Sons, 1987.
[6] Liu Y, Storey C. Efficient generalized conjugate gradient algorithms, I. Theory[J]. J Optim Theorey Appl, 1991, 69(1): 129-137.
[7] Dai Y H, Yuan Y X. A nonlinear conjugate gradient method with a strong global convergence property. SIAM J Optim, 1999, 10(1): 177-182.
[8] Dai Y H, Liao L Z. New conjugacy conditions and related nonlinear conjugate gradient methods[J]. Applied Mathematics and Optimization, 2001, 43 : 87-101.
[9] Hager W W, Zhang H C. A new conjugate gradient method with guaranteed descent and an efficient line search, SIAM Journal on Optimization, 2005, 1(16) : 170-192.
[10] Gilbert J C, Nocedal J. Global convergence proerties of conjugate gradient methods for optimization[J]. SIAM Journal on Optimization, 1992, 2, 21-42.
[11] Dai Y H, Yuan Y X. Some properties of a new conjugate gradient methods[J]. Advances in Nonlinear Programming. 1998, 12, 251-262.
[12] 焦宝聪，陈兰平，潘翠英. Goldstein 线搜索下混合共轭梯度法的全局收敛性[J]. 计算数学, 2007,2(29): 137-146.
[13] Zhang L, Zhou W J, LI D H. A descent modified Polak_Ribiere-Polak gradient method and its global convergence[J]. IMA Journal of Numerical Analysis, 2006, 26: 629-640.
[14] Yasushi N, Hiroshi Y, John A F. A three-term conjugate gradient method with sufficient descent property for unconstrined optimization[J]. 2011,
[15] Andrei N. Amodified Polak-Ribiere-Polyak conjugate gradient algorithm for unconstrained optimization. Optimization, 60(12), 1457-1471.
[16] Barzilai J, Borwein M J. Two-point step size gradient methods[J]. IMA Journal of Numerical Analysis. 1988, 1(8): 141-148.
[17] Birgin E G, Martinez J M. A spectural conjugate gradeint method for unconstrained optimization[J]. 2001, 2(42): 117-128.
[18] Zhang L, Zhou W J. Two descent hybrid conjugate gradient methods for optimization[J]. Journal of Computation and Applied Mathematics, 2008, 251-264.