〇、說明
最近在學習機器學習方面的算法知識，這里盡量以通俗易懂的方式將其整理一下，一方面以備自己查閱，另一方面如果可以方便他人則更好。
凸優(yōu)化主要學習《凸優(yōu)化》(Stephen Boyd等著，王書寧等譯)[1]這本書。學習過程中，對其內(nèi)容的理解時有困惑，也參考一些其他書籍資料。筆者盡量將這部分知識整理地簡潔明了，成此系列筆記。
如有錯誤疏漏，煩請指出。如要轉(zhuǎn)載，請聯(lián)系筆者，hpfhepf@gmail.com。
一、什么是凸優(yōu)化
不嚴格的說，凸優(yōu)化就是在標準優(yōu)化問題的范疇內(nèi)，要求目標函數(shù)和約束函數(shù)是凸函數(shù)的一類優(yōu)化問題。
二、重要性
“凸優(yōu)化在數(shù)學規(guī)劃領(lǐng)域具有非常重要的地位。”
“一旦將一個實際問題表述為凸優(yōu)化問題，大體上意味著相應問題已經(jīng)得到徹底解決，這是非凸的優(yōu)化問題所不具有的性質(zhì)?！?/p>
——《<凸優(yōu)化>譯者序》
凸優(yōu)化之所以如此重要，是因為：
1、其應用非常廣泛，機器學習中很多優(yōu)化問題都要通過凸優(yōu)化來求解；
2、在非凸優(yōu)化中，凸優(yōu)化同樣起到重要的作用，很多非凸優(yōu)化問題，可以轉(zhuǎn)化為凸優(yōu)化問題來解決；
3、如上引用所述，凸優(yōu)化問題可以看作是具有成熟求解方法的問題，而其他優(yōu)化問題則未必。
三、凸優(yōu)化知識體系
凸集，定義目標函數(shù)和約束函數(shù)的定義域。
凸函數(shù)，定義優(yōu)化相關(guān)函數(shù)的凸性限制。
凸優(yōu)化，中心內(nèi)容的標準描述。
凸優(yōu)化問題求解，核心內(nèi)容。相關(guān)算法，梯度下降法、牛頓法、內(nèi)點法等。
對偶問題，將一般優(yōu)化問題轉(zhuǎn)化為凸優(yōu)化問題的有效手段，求解凸優(yōu)化問題的有效方法。
四、標準優(yōu)化問題
五、凸優(yōu)化問題
附錄
A、參考
[1]、《凸優(yōu)化》，Stephen Boyd等著，王書寧等譯
B、相關(guān)目錄
凸優(yōu)化(一)——概述
C、時間線
2016-02-15 第一次發(fā)布
2016-08-07 修改文章名，重新整理完善
