概述

??凸優(yōu)化，或叫做凸最優(yōu)化，凸最小化，是數(shù)學(xué)最優(yōu)化的一個(gè)子領(lǐng)域，研究定義于凸集中的凸函數(shù)最小化的問題。凸優(yōu)化在某種意義上說較一般情形的數(shù)學(xué)最優(yōu)化問題要簡單，譬如在凸優(yōu)化中局部最優(yōu)值必定是全局最優(yōu)值。
??下一個(gè)并不嚴(yán)謹(jǐn)?shù)亩x，凸優(yōu)化就是在標(biāo)準(zhǔn)優(yōu)化問題的范疇內(nèi)，要求目標(biāo)函數(shù)和約束函數(shù)是凸函數(shù)的一類優(yōu)化問題。
??可以說，機(jī)器學(xué)習(xí)幾乎所有算法都會(huì)涉及到凸優(yōu)化理論，即使是一個(gè)非凸優(yōu)化問題，可以通過數(shù)學(xué)的等價(jià)變換編程一個(gè)凸優(yōu)化問題進(jìn)行解決。
??一旦我們將一個(gè)問題轉(zhuǎn)換成或者說表示成了凸優(yōu)化，這個(gè)問題就已經(jīng)得到了解決?？梢砸姷?，凸優(yōu)化在數(shù)學(xué)領(lǐng)域，是如此的重要，同時(shí)在機(jī)器學(xué)習(xí)里面，他也是一個(gè)具有成熟求解方法的問題，而其他優(yōu)化問題未必。

推薦書籍：《凸優(yōu)化》(Stephen Boyd著，王書寧等譯)

凸優(yōu)化的基本體系

??凸優(yōu)化知識體系主要由以下幾個(gè)組成：

• 凸集： 定義目標(biāo)函數(shù)和約束函數(shù)的定義域。
• 凸函數(shù)： 定義優(yōu)化相關(guān)函數(shù)的限制。
• 凸優(yōu)化： 中心內(nèi)容的標(biāo)準(zhǔn)描述。
• 凸優(yōu)化問題求解： 本文的重點(diǎn)，相關(guān)算法。
• 對偶問題： 將一般問題轉(zhuǎn)換為凸優(yōu)化問題的有效手段，求解凸優(yōu)化問題的有效方法。

標(biāo)準(zhǔn)優(yōu)化問題

??標(biāo)準(zhǔn)優(yōu)化問題例如下式：

表示在所有滿足的中找出使最小的。
??這里，,函數(shù)稱為目標(biāo)函數(shù)，相應(yīng)的成為不等式約束，方程組稱為等式約束。假設(shè)則稱為無約束問題。
??對目標(biāo)和所有約束函數(shù)有定義點(diǎn)的集合(定義域)

凸優(yōu)化問題

??這里面，是一個(gè)凸函數(shù)，這種優(yōu)化問題就稱為凸優(yōu)化問題。
??對比標(biāo)準(zhǔn)優(yōu)化問題，也就是說，目標(biāo)函數(shù)和不等式約束為凸函數(shù)，等是約束是仿射函數(shù)的優(yōu)化問題就是凸優(yōu)化問題。

睡覺啦，明天更新

Reference

《凸優(yōu)化》——Stephen Boyd著，王書寧等譯

我的掘金:WarrenRyan

我的簡書:WarrenRyan

歡迎關(guān)注我的博客獲得第一時(shí)間更新 https://blog.tity.online

我的Github:StevenEco