凸優(yōu)化的應用十分十分廣泛

投資組合中：最大化收益函數(shù)，然后列出一些限制條件。
工程控制中
最優(yōu)控制理論
醫(yī)療圖像中：
壓縮感知

工程學博士的核心：最優(yōu)化理論，設計一個東西，使其滿足要求并最優(yōu)
計算數(shù)學博士的核心：將現(xiàn)代數(shù)學知識應用到具體的算法

個人思考的最優(yōu)化理論來源，第3此工業(yè)革命也就是大概前30年左右的時間，信息技術(shù)爆炸性增長，電氣系統(tǒng)設計中需要的各種最優(yōu)化促使數(shù)學家去研究這些應用數(shù)學，然后經(jīng)過做工程的人的推廣，形成了現(xiàn)在的這種最優(yōu)化理論。這在歷史上發(fā)生過了無數(shù)次了，數(shù)學自身的不斷抽象，自身的發(fā)展被做工程的人拿來做成了實際應用，而反逼做數(shù)學的人去更進一步的發(fā)展理論

最小二乘

判別一個優(yōu)化問題是否是最小二乘問題十分簡單。
只需要檢驗目標函數(shù)是否是二次函數(shù)，（然后檢驗此二次函數(shù)是否半正定）

現(xiàn)在的算法發(fā)展，如果能夠?qū)⒛硞€問題轉(zhuǎn)換為凸優(yōu)化問題，我們就能迅速有效的求解。
如果某個實際問題可以表述為凸優(yōu)化問題，那么事實上已經(jīng)解決了這個問題

線性規(guī)劃

很多問題可以轉(zhuǎn)化為線性規(guī)劃，比如說

非線性優(yōu)化問題（局部最優(yōu)）：

現(xiàn)在一般而言都放棄了尋找全局最優(yōu)的方法，轉(zhuǎn)而尋找局部最優(yōu)解。
比如DNN就是一個非線性優(yōu)化問題，所以才會需要調(diào)整算法的參數(shù)，選取一個足夠好的初始點。

局部最優(yōu)問題中，我們可以將非凸問題近似為凸優(yōu)化問題，通過求解近似凸問題，得到近似問題的精確解。然后用凸問題的精確解作為局部算法優(yōu)化的初始值，求解原始非凸問題。
這個厲害了，如果說能夠用凸問題來求解變分EM算法的初始值問題，那么說不定就能夠得到更優(yōu)估計。

啟發(fā)式算法來解決非凸優(yōu)化，隨機算法，粒子群算法，搜索滿足一定條件的稀疏向量

全局最優(yōu)：

在尋找系統(tǒng)的最差參數(shù)中經(jīng)常會用到，因為如果證明了系統(tǒng)在最差的參數(shù)下也可以穩(wěn)定運行，那么就說明了整個系統(tǒng)能夠穩(wěn)定運行。

所以。量子計算機的出現(xiàn)可能打破現(xiàn)有的優(yōu)化算法，使得非線性優(yōu)化最優(yōu)問題得到天文數(shù)字般的性能提升。

在全局最優(yōu)時，經(jīng)常將原函數(shù)轉(zhuǎn)換成為需要給出最優(yōu)解的下屆，計算代價較小。

拉格朗日對偶理論 KKT最優(yōu)性條件