多情剑客无情剑yu

  本文将在 DL 共轭梯度法的基础上，介绍 HZ 共轭梯度法。这是由 Hanger-Zhang 于 2005 年提出的一种非常经典的共轭梯度法。我们所创新的共轭梯度法都会于...

多情剑客无情剑yu

  共轭梯度法是一类重要的方法，特别是当维数很大时。本文将提出一种新的共轭条件，考虑其非精确线搜索。依据新的共轭条件，两种非线性共轭梯度法将会被提出，同时给出其收敛性分析。 ...

多情剑客无情剑yu

  本节我们将介绍共轭梯度法，只是简单的介绍一下，其收敛性的证明和共轭梯度法类似。 1、简介   LS 共轭梯度法是由 Liu 和 Storey 提出在 1991 年提出的一...

多情剑客无情剑yu

  本节，我们将提出两种类型的线搜索，他们都是依据标准线搜索。本文的第一种线搜索且要求能够保证在每一步产生一个下降方向，在这种线搜索下，，和方法且非负都能够建立全局收敛性。然...

多情剑客无情剑yu

本节我们将介绍另外一种经典的共轭梯度法，即是共轭梯度法。 1、引言   HS 共轭梯度法是由 和于1952 年在求解线性共轭梯度法中提出，后来被用于求解非线性无约束优化问题。...

多情剑客无情剑yu

  上节我们证明了方法在一种型线搜索下的全局收敛性。本节将证明取常数步长因子的方法的收敛性。 1、引言   PRP 共轭梯度法是由 Polak 和 Ribiere 和 Pol...

多情剑客无情剑yu

  在节，我们证明了方法的收敛性。然而，即使是一致凸函数，参数也可能非负。在节，我们知道采取精确线搜索的方法对于一致凸函数的全局收敛性。于是，和致力于寻找这样的一种线搜索，以...

多情剑客无情剑yu

  如果使用非精确线搜索如强 Wolfe 线搜索，戴彧虹在文献 中举出例子表明，即使为一致凸函数，而且参数充分小，PRP 方法都可能产生一个上升搜索方向。如果每一个搜索方向都...

多情剑客无情剑yu

  本文将介绍 PRP 共轭梯度法，我们又进入崭新的一页。方法的全局收敛性证明会有点难，所以在 1969 年提出 PRP 共轭梯度法，却在 1992 年才证明其全局收敛性。 ...

多情剑客无情剑yu

  在之前的第九篇文章，我们分析了采取强线搜索的一般共轭梯度法，并在没有充分下降条件的情况下给出了方法全局收敛的一般性定理。这一节将分析采取线搜索的一般共轭梯度法。值得注意的...

多情剑客无情剑yu

本文与之前的 FR 共轭梯度法的一般性理论相类似，旨在建立 DY 共轭梯度法的一般性理论。这些工作也是由 戴彧虹 和 袁亚湘 完成。 1、简介    对于无约束优化问题其中...

多情剑客无情剑yu

这篇文章同样出于戴彧虹 和 袁亚湘 老师之手，我个人感觉证明很巧妙。本文主要进一步分析 DY 共轭梯度法，在不特别给定线搜索和函数凸性的情况下，给出了 DY 共轭梯度法的内在...

多情剑客无情剑yu

这篇文章很早就在 CSCD 上面发表过，所以我就直接复制过来了。DY 共轭梯度法是由中国学者 戴彧虹 和 袁亚湘 提出来的，可以说是我们这个方向非常经典的文章，这两位大师在国...

多情剑客无情剑yu

  本文给出在强线搜索下一般性收敛性定理，由 戴彧虹，韩继业，刘光辉，孙德峰，阴红霞 和 袁亚湘提出，这些人都是运筹学领域的大家。而且这个定理本身也非常有用，是对充分下降条件...

多情剑客无情剑yu

  前面介绍了 FR 共轭梯度法，给出了其他不同线搜素下的全局收敛性。本节将讲述 CD 共轭梯度法，与 FR 的性质相类似，有了前面的基础，所以收敛性的证明很简单。   19...

多情剑客无情剑yu

  前面给出了 FR 共轭梯度法在强 Wolfe 线搜索、推广 Wolfe 线搜素和广义线搜素下的收敛性，本节将给出关于 FR 共轭梯度法的一般性理论，即与其他共轭梯度法的关...

多情剑客无情剑yu

  在前面，我们介绍了 FR 共轭梯度法在精确线搜索，强 Wolfe 线搜索和推广的 Wolfe 线搜索下的收敛性。本节，将介绍 FR 共轭梯度法在广义 Wolfe 线搜索 ...

多情剑客无情剑yu

  今天，应该是正式研究共轭梯度法的开始。如果只是运用共轭梯度法，而不去了解其算法的内在含义，这也不是我在《简书》上面写作的意义。所以从现在开始我们探讨 FR 共轭梯度法。 ...

多情剑客无情剑yu

  上节我们研究了线性共轭梯度法，线性共轭梯度法的研究对象是二次函数，且采取的线搜索为精确线搜索。为此可以产生共轭向量组，具有二次终止性。所谓的二次终止性，并不是迭代两次就终...