信賴域算法（Trust-Region）

1、一維搜索算法

最優(yōu)化的目標(biāo)是尋找極小值點(diǎn)。

優(yōu)化算法首先需要確定一個初始點(diǎn)以及搜索方向，在這個方向上做一維搜索，找到此方向上的可接受點(diǎn)之后，通過一定的策略調(diào)整搜索方向，繼續(xù)在新的方向上進(jìn)行一維搜索，以此類推，直到目標(biāo)函數(shù)收斂到極小值點(diǎn)。

這種不斷調(diào)整搜索方向，再在新的方向上進(jìn)行一維搜索的技術(shù)被很多算法采用，具有實(shí)際工程意義。

但我們并不是只有這一種方法來實(shí)現(xiàn)最優(yōu)化的目標(biāo)，求得極小值點(diǎn)，還可以通過下面的信賴域算法來實(shí)現(xiàn)。

2、信賴域算法

信賴域算法沒有一維搜索的過程，它是在一個區(qū)域內(nèi)進(jìn)行搜索。

一維搜索算法：從x_{k} 點(diǎn)移動到下一個點(diǎn)的過程可描述為：x_{k} +\alpha _{k} d_{k} ，\alpha _{k} d_{k} 就是在方向 d_{k} 上的位移，可將其記作s_{k} .

信賴域算法：根據(jù)一定的原則，直接確定位移s_{k} ，無需先確定方向。如果根據(jù)某種原則確定位移能使目標(biāo)函數(shù)的值充分下降，則擴(kuò)大信賴域，若不能使目標(biāo)函數(shù)的值充分下降，則縮小信賴域，如此迭代下去，直至收斂。

3、例子

假設(shè)我們需要從火車東站去往火車西站，則：

一維搜索算法：先確定一個方向，比如先向南走，走著走著發(fā)現(xiàn)方向不對，則調(diào)整一下方向，比如向西走諸如此類；

信賴域算法：先劃定一個區(qū)域，在這個區(qū)域內(nèi)尋找距離火車西站最近的點(diǎn)，如果區(qū)域范圍太大了，將火車西站劃到了區(qū)域內(nèi)，則縮小區(qū)域范圍，然后再在該區(qū)域內(nèi)尋找距離火車西站最近的點(diǎn)。

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 機(jī)器視覺系統(tǒng)基于數(shù)字圖像中的信息進(jìn)行決策。若系統(tǒng)算法不分主次，讓所有圖像數(shù)據(jù)都參與到目標(biāo)識別或分類的計(jì)算過程中，機(jī)...
    不脫發(fā)的程序猿閱讀 1,499評論 0贊 1
  • 1、學(xué)習(xí)和純優(yōu)化有什么不同 在大多數(shù)機(jī)器學(xué)習(xí)問題中，我們關(guān)注某些性能度量，其定義于測試集上并且可能是不可解的。因此...
    單調(diào)不減閱讀 3,264評論 0贊 3
  • 1、最優(yōu)化模型及其分類 ?? 最優(yōu)化的數(shù)學(xué)模型一般表示為其中及都是定義在上的實(shí)值連續(xù)函數(shù)，且至少有一個是非線性的。...
    多情劍客無情劍yu閱讀 2,488評論 0贊 14
  • 1、特征工程 歸一化 方法：(1)Min-Max: ；(2)Z-Score: 意義：歸一化讓不同特征映射到相同的數(shù)...
    amyhy閱讀 923評論 0贊 0
  • 應(yīng)用背景 信賴域算法TR可以用來求解非線性規(guī)劃問題（NLP, NonLinear Programing），比如含二...
    Dreisteine閱讀 2,326評論 0贊 0

友情鏈接更多精彩內(nèi)容