〇、說明
凸優(yōu)化主要學(xué)習(xí)《凸優(yōu)化》(Stephen Boyd等著，王書寧等譯)[1]這本書。學(xué)習(xí)過程中，對其內(nèi)容的理解時有困惑，也參考一些其他書籍資料。筆者盡量將這部分知識整理地簡潔明了，成此系列筆記。
如有錯誤疏漏，煩請指出。如要轉(zhuǎn)載，請聯(lián)系筆者，hpfhepf@gmail.com。
一、意義
回溯直線搜索是求解無約束凸優(yōu)化問題中，調(diào)整搜索步長非常簡單有效的方法，也是實際應(yīng)用中常用的方法。[2]
考慮固定步長搜索，為防止迭代震蕩，一般步長值很小，很多經(jīng)驗值取0.01，這就導(dǎo)致收斂速度過慢。
考慮精確直線搜索，其本身又是一個優(yōu)化問題，如果這個優(yōu)化問題很復(fù)雜，則這個搜索方法就是沒有意義的。
相比以上兩種調(diào)整搜索步長的方法，回溯直線搜索則簡單高效很多。
二、回溯直線搜索
2.1、算法
2.2、算法解釋
2.3、參數(shù)解釋
附錄
A、參考
[1]、《凸優(yōu)化》，Stephen Boyd等著，王書寧等譯
[2]、《最優(yōu)化問題中，牛頓法為什么比梯度下降法求解需要的迭代次數(shù)更少？》
[3]、《回溯線搜索 Backtracking line search》
B、相關(guān)目錄
凸優(yōu)化(五)——回溯直線搜索
C、時間線
2016-08-08 第一次發(fā)布
2016-08-17 修改了一個錯誤公式，添加理解提醒
