??本文將在 DL 共軛梯度法的基礎(chǔ)上,介紹 HZ 共軛梯度法。這是由 Hanger-Zhang 于 2005 年提出的一種非常經(jīng)典的共軛梯度法。我們所創(chuàng)新的共軛梯度法都會于...
??本文將在 DL 共軛梯度法的基礎(chǔ)上,介紹 HZ 共軛梯度法。這是由 Hanger-Zhang 于 2005 年提出的一種非常經(jīng)典的共軛梯度法。我們所創(chuàng)新的共軛梯度法都會于...
??共軛梯度法是一類重要的方法,特別是當(dāng)維數(shù)很大時。本文將提出一種新的共軛條件,考慮其非精確線搜索。依據(jù)新的共軛條件,兩種非線性共軛梯度法將會被提出,同時給出其收斂性分析。 ...
??本節(jié)我們將介紹共軛梯度法,只是簡單的介紹一下,其收斂性的證明和共軛梯度法類似。 1、簡介 ??LS 共軛梯度法是由 Liu 和 Storey 提出在 1991 年提出的一...
??本節(jié),我們將提出兩種類型的線搜索,他們都是依據(jù)標(biāo)準(zhǔn)線搜索。本文的第一種線搜索且要求能夠保證在每一步產(chǎn)生一個下降方向,在這種線搜索下,,和方法且非負(fù)都能夠建立全局收斂性。然...
本節(jié)我們將介紹另外一種經(jīng)典的共軛梯度法,即是共軛梯度法。 1、引言 ??HS 共軛梯度法是由 和于1952 年在求解線性共軛梯度法中提出,后來被用于求解非線性無約束優(yōu)化問題。...
??上節(jié)我們證明了方法在一種型線搜索下的全局收斂性。本節(jié)將證明取常數(shù)步長因子的方法的收斂性。 1、引言 ??PRP 共軛梯度法是由 Polak 和 Ribiere 和 Pol...
??在節(jié),我們證明了方法的收斂性。然而,即使是一致凸函數(shù),參數(shù)也可能非負(fù)。在節(jié),我們知道采取精確線搜索的方法對于一致凸函數(shù)的全局收斂性。于是,和致力于尋找這樣的一種線搜索,以...
??如果使用非精確線搜索如強(qiáng) Wolfe 線搜索,戴彧虹在文獻(xiàn) 中舉出例子表明,即使為一致凸函數(shù),而且參數(shù)充分小,PRP 方法都可能產(chǎn)生一個上升搜索方向。如果每一個搜索方向都...
??本文將介紹 PRP 共軛梯度法,我們又進(jìn)入嶄新的一頁。方法的全局收斂性證明會有點(diǎn)難,所以在 1969 年提出 PRP 共軛梯度法,卻在 1992 年才證明其全局收斂性。 ...
??在之前的第九篇文章,我們分析了采取強(qiáng)線搜索的一般共軛梯度法,并在沒有充分下降條件的情況下給出了方法全局收斂的一般性定理。這一節(jié)將分析采取線搜索的一般共軛梯度法。值得注意的...
本文與之前的 FR 共軛梯度法的一般性理論相類似,旨在建立 DY 共軛梯度法的一般性理論。這些工作也是由 戴彧虹 和 袁亞湘 完成。 1、簡介 ?? 對于無約束優(yōu)化問題其中...
這篇文章同樣出于戴彧虹 和 袁亞湘 老師之手,我個人感覺證明很巧妙。本文主要進(jìn)一步分析 DY 共軛梯度法,在不特別給定線搜索和函數(shù)凸性的情況下,給出了 DY 共軛梯度法的內(nèi)在...
這篇文章很早就在 CSCD 上面發(fā)表過,所以我就直接復(fù)制過來了。DY 共軛梯度法是由中國學(xué)者 戴彧虹 和 袁亞湘 提出來的,可以說是我們這個方向非常經(jīng)典的文章,這兩位大師在國...
??本文給出在強(qiáng)線搜索下一般性收斂性定理,由 戴彧虹,韓繼業(yè),劉光輝,孫德峰,陰紅霞 和 袁亞湘提出,這些人都是運(yùn)籌學(xué)領(lǐng)域的大家。而且這個定理本身也非常有用,是對充分下降條件...
??前面介紹了 FR 共軛梯度法,給出了其他不同線搜素下的全局收斂性。本節(jié)將講述 CD 共軛梯度法,與 FR 的性質(zhì)相類似,有了前面的基礎(chǔ),所以收斂性的證明很簡單。?? 19...
??前面給出了 FR 共軛梯度法在強(qiáng) Wolfe 線搜索、推廣 Wolfe 線搜素和廣義線搜素下的收斂性,本節(jié)將給出關(guān)于 FR 共軛梯度法的一般性理論,即與其他共軛梯度法的關(guān)...
??在前面,我們介紹了 FR 共軛梯度法在精確線搜索,強(qiáng) Wolfe 線搜索和推廣的 Wolfe 線搜索下的收斂性。本節(jié),將介紹 FR 共軛梯度法在廣義 Wolfe 線搜索 ...
??今天,應(yīng)該是正式研究共軛梯度法的開始。如果只是運(yùn)用共軛梯度法,而不去了解其算法的內(nèi)在含義,這也不是我在《簡書》上面寫作的意義。所以從現(xiàn)在開始我們探討 FR 共軛梯度法。 ...
??上節(jié)我們研究了線性共軛梯度法,線性共軛梯度法的研究對象是二次函數(shù),且采取的線搜索為精確線搜索。為此可以產(chǎn)生共軛向量組,具有二次終止性。所謂的二次終止性,并不是迭代兩次就終...