9.1 引言
在確定搜索方向時(shí)，最速下降法只利用了一階導(dǎo)數(shù)（梯度）。這并不是最高效的。因此引入牛頓法，它同時(shí)使用一階和二階導(dǎo)數(shù)來確定搜索方向。給定一個(gè)迭代點(diǎn)之后，首先構(gòu)造一個(gè)二次型函數(shù)其與目標(biāo)函數(shù)在該點(diǎn) 處的一階和二階導(dǎo)數(shù)相等，以此可以作為目標(biāo)函數(shù)的近似表達(dá)式;接下來求該二次型函數(shù) 的極小點(diǎn)，以此作為下一次迭代的起始點(diǎn)。重復(fù)以上過程，以求得目標(biāo)函數(shù)的極小點(diǎn)。這 就是牛頓法的基本思路。如果目標(biāo)函數(shù)本身就是二次型函數(shù)那么構(gòu)造的近似函數(shù)與目標(biāo) 函數(shù)就是完全一致的。否則如果目標(biāo)函數(shù)不是二次型函數(shù)那么近似函數(shù)得到的極小點(diǎn)給出的是目標(biāo)函數(shù)極小點(diǎn)所在的大體位置。
在一次迭代中，牛頓法可以分為兩步：
1.求解，得到；
2.確定下一個(gè)迭代點(diǎn)
第一步要求解一個(gè)n維的線性非齊次方程組
9.2 牛頓法性質(zhì)分析
在單變量的情況下，如果函數(shù)的二階導(dǎo)數(shù)，牛頓法無法收斂到最小點(diǎn)。多變量時(shí)，如果目標(biāo)函數(shù)的黑塞矩陣非正定，牛頓法的搜索方向也不一定是下降方向。
但牛頓法的一大優(yōu)勢(shì)在于沒如果初始點(diǎn)離極小點(diǎn)比較近，那么將表現(xiàn)出相當(dāng)好的收斂性。（收斂階數(shù)為無窮大）
9.3 Levenberg-Marquardt 修正
如果黑塞矩陣不正定，那么搜索方向
可能不是下降方向，因此引入 Levenberg-Marquardt修正以解決這一問題。確保每次產(chǎn)生的方向是下降方向，修正后的迭代公式：
