O.M.

1.最優(yōu)化問題

無約束：
\qquad D=R^n
\qquad min \ f(x) ，\qquad x \in R^n
約束：
\qquad D \subset R^n
\qquad min \qquad f(x)
\qquad s.t. \qquad g_i(x) \ge 0,i \in \mathcal{I} =\{1,\cdots ,m_1\}
\qquad \qquad \qquad h_j(x)=0 ,j\in \mathcal{E}=\{m_1+1,...,m\}

2.最優(yōu)解

[嚴(yán)格]局部最優(yōu)解：
x^*\in D,if \ \exists x^*的一個(gè)領(lǐng)域U_\delta (x^*)\triangleq \{x \big | \ ||x-x^*||<\delta\}\\ s.t. \qquad f(x^*) \le f(x),\qquad \forall x\in D \ \cap \ U_\delta (x^*).
[嚴(yán)格]全局最優(yōu)解：
f(x^*) \le f(x),\qquad \forall x\in D

3.函數(shù)

n元單值函數(shù)的一階導(dǎo)數(shù)--梯度： n元1值函數(shù)求一階導(dǎo)后會(huì)變?yōu)閚元n值函數(shù)，用向量表示
\nabla f(x)= \color{green}{ \begin{bmatrix} \frac{\partial f(x)}{\partial x_1}\\ \frac{\partial f(x)}{\partial x_2}\\ \vdots \\ \frac{\partial f(x)}{\partial x_n}\\ \end{bmatrix}} =(\frac{\partial f(x)}{\partial x_1},\frac{\partial f(x)}{\partial x_2},\cdots,\frac{\partial f(x)}{\partial x_n})^T

n元單值函數(shù)的二階導(dǎo)數(shù)--hessian陣 ?求二階導(dǎo)后會(huì)變?yōu)閚元n×n值函數(shù),用矩陣表示,推測求三階導(dǎo)會(huì)變成n元n×n×n值函數(shù)。現(xiàn)在不知是否叫張量。
\nabla ^2 f(x)= \begin{bmatrix} \frac {\partial^2 f(x)}{\partial x_1^2} &\cdots & \frac {\partial^2 f(x)}{\partial x_1 \partial x_n} \\ \vdots && \vdots\\ \frac {\partial^2 f(x)}{\partial x_n \partial x_1} &\cdots &\frac {\partial^2 f(x)}{\partial x_n^2} \end{bmatrix}

一元m值函數(shù)的一階導(dǎo)數(shù) ?"m值函數(shù)的一階導(dǎo)還是m值函數(shù)"
h(x)= \begin{bmatrix} h_1(x) \\ h_2(x) \\ \vdots \\ h_m(x) \end{bmatrix} \qquad \nabla h(x)= \begin{bmatrix} \frac{\partial h_1(x)}{\partial x}\\ \frac{\partial h_2(x)}{\partial x}\\ \vdots \\ \frac{\partial h_m(x)}{\partial x}\\ \end{bmatrix}

n元m值函數(shù)的一階導(dǎo)數(shù) ?"多元向量值函數(shù),每個(gè)h_i(x)都是一個(gè)n元單值函數(shù)。僅求一次導(dǎo)就變成了n元m×n值函數(shù)。推測求二階導(dǎo)會(huì)成n元m×n×n值函數(shù)。"
h({\bf x})= \begin{bmatrix} h_1({\bf x}) \\ h_2({\bf x}) \\ \vdots \\ h_m({\bf x}) \end{bmatrix} \qquad \ h'({\bf x})=\begin{bmatrix} \color{green}{\frac{\partial h_1({\bf x})}{\partial x_1}}& \color{green} {\frac{\partial h_1({\bf x})}{\partial x_2} } & \color{green} \cdots & \color{green} {\frac{\partial h_1({\bf x})}{\partial x_n}} \\ \frac{\partial h_2({\bf x})}{\partial x_1} & \frac{\partial h_2({\bf x})}{\partial x_2} &\cdots & \frac{\partial h_2({\bf x})}{\partial x_n}\\ \vdots &&&\vdots \\ \frac{\partial h_m({\bf x})}{\partial x_1} & \frac{\partial h_m({\bf x})}{\partial x_2} &\cdots & \frac{\partial h_m({\bf x})}{\partial x_n}\\ \end{bmatrix}_{m\times n}=\nabla h({\bf x})^T_{n \times m}

4.泰勒展式

多元一階：
f(x)=f(y)+\nabla f(y+\theta (x-y))^T(x-y)
\qquad \quad=f(y)+\nabla f(y)^T(x-y)+o(||x-y||)

多元二階：
f(x)=f(y)+\nabla f(y)^T(x-y)+\frac{1}{2}(x-y)^T \nabla ^2f(y+\theta (x-y))(x-y)
\qquad \quad =f(y)+\nabla f(y)^T(x-y)+\frac{1}{2}(x-y)^T \nabla ^2f(y)(x-y) +o(||x-y||)^2

5.約束問題解法

變?yōu)闊o約束問題

改寫：
令g_I(x)=(g_1(x),\cdots,g_{m_1}(x))^T,h_E(x)=(h_{m_1+1},\cdots,h_m(x))^T
把約束問題等價(jià)地寫成
\min \quad f(x)
s.t. \quad g_I(x) \ge 0,
\qquad \quad h_E(x)=0.
問題的可行域由無約束的D = R^n變?yōu)榧s束的D =\{x {\large |} g_I(x) \ge 0,h_E(x)=0\}.

序列無約束問題算法：
通過求解一系列無約束問題來逼近約束問題的解。
罰函數(shù)法&乘子法

外點(diǎn)罰函數(shù)法：
def \quad F:R^n \to R \qquad F(x)= \begin{cases} f(x), \qquad x\in \color{red}{D}, \\ +\infty ,\qquad x\notin D. \end{cases}
約束問題的解等價(jià)于下面無約束問題的解：
\min \quad F(x),\quad x\in \color{purple}{R^n}
引入如下函數(shù)：
\color{red}{S(x)}=||h_E(x)||^2+||\min\{g_I(x),0\}||^2,\qquad "約束違反度函數(shù)"
\color{purple}{P_\mu(x)}=\frac{1}{2} \mu \color{red}{S(x)},\qquad "罰函數(shù)"
F_\mu (x)=f(x)+\color{purple}{P_\mu (x)} \qquad "增廣目標(biāo)函數(shù)"

外點(diǎn)罰函數(shù)算法：
0. 取初始點(diǎn)x[0],罰參數(shù)序列u[k],可以取u[k]=2^(k-1),精度eps>0,令k=0.
1. 構(gòu)造增廣目標(biāo)函數(shù)F[x[k]]=f(x[k])+P(x[k])
2. 求解無約束問題得x[k]
3. P(x[k])<=eps,終止,否則k=k+1轉(zhuǎn)步驟1

內(nèi)點(diǎn)罰函數(shù)法： (...)

乘子法：

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 去銀器店修首飾，銀匠說＂看電視感動(dòng)得都哭了＂。俺說：＂還能這樣的人不多了。＂ 聽口音像老鄉(xiāng)，一打聽...
    小寒0726閱讀 403評(píng)論 0贊 1
  • 作者 | 樹樹 來源 | 每日七言 （ID：mrqy88 網(wǎng)上有一段子：女人不是水做的，而是汽水做的，千萬不能搖，...
    韓芳_d118閱讀 446評(píng)論 0贊 0
  • 為學(xué)生高考沖刺工作進(jìn)行到此時(shí)，越發(fā)感覺到團(tuán)隊(duì)合作的重要性。如果每一個(gè)工作細(xì)節(jié)都要事必躬親的話，第一精力有限，第二會(huì)...
    TA76廣新閱讀 92評(píng)論 2贊 5
  • 一出門便落水， 一進(jìn)舍陽燦爛。 天意難為， 我也不虧。 雨下著， 很靜美。 腳不止， 很干脆。 遙望遠(yuǎn)處畫鷁， 回...
    筆斷流閱讀 252評(píng)論 0贊 3

友情鏈接更多精彩內(nèi)容