推薦系統(tǒng)落在運(yùn)籌學(xué)的范疇，可歸結(jié)為矩陣補(bǔ)全（matrix completion）問(wèn)題，用半正定規(guī)劃（SDP）方法，如非負(fù)矩陣分解（NMF）解決，而 YouTube 的結(jié)果顯示深度學(xué)習(xí)的預(yù)測(cè)準(zhǔn)確率比傳統(tǒng)方法好很多、快很多。

其他運(yùn)籌學(xué)的問(wèn)題（如廣告搜索、路徑規(guī)劃、定價(jià)估值、倉(cāng)儲(chǔ)物流）、形式（如 LP、CP、SDP、MIP）、和方法（如內(nèi)點(diǎn)法、割平面法）也會(huì)遇到這樣來(lái)自深度學(xué)習(xí)的挑戰(zhàn)嗎？

Lasso等方法的提出正好契合了貝葉斯學(xué)習(xí)的精神；

Boyd 在故紙堆中重新找出分布式ADMM用來(lái)求解帶約束機(jī)器學(xué)習(xí)問(wèn)題（矩陣分解等等），成為了傳統(tǒng)機(jī)器學(xué)習(xí)的標(biāo)準(zhǔn)范式（objective+regularization）；

深度學(xué)習(xí)的興起則直接帶火了一片一階隨機(jī)算法：ADAM/RMSprop 等。例如，SVM 的訓(xùn)練過(guò)程，本質(zhì)上是求解一個(gè) SQP問(wèn)題；

訓(xùn)練神經(jīng)網(wǎng)絡(luò)的梯度下降算法，是在使得訓(xùn)練誤差極小化意義下的一個(gè)局部?jī)?yōu)化算法。

機(jī)器學(xué)習(xí)模型的訓(xùn)練過(guò)程，都是首先將其建模為一個(gè)運(yùn)籌學(xué)問(wèn)題，然后采用相應(yīng)算法來(lái)求解的。

機(jī)器學(xué)習(xí)（包括深度學(xué)習(xí)），是運(yùn)籌學(xué)的一個(gè)應(yīng)用領(lǐng)域。

幾類(lèi)經(jīng)典算法（凸規(guī)劃算法、動(dòng)態(tài)規(guī)劃、若干圖算法、信任域算法、元啟發(fā)式算法等）；

結(jié)合領(lǐng)域知識(shí)，采用模型簡(jiǎn)化和變換、分而治之等辦法來(lái)近似求解。

『運(yùn)籌學(xué)+機(jī)器學(xué)習(xí)』的案例：

工業(yè)產(chǎn)品設(shè)計(jì)領(lǐng)域常使用響應(yīng)曲面法(RSM)、插值法來(lái)根據(jù)有限的實(shí)驗(yàn)數(shù)據(jù)點(diǎn)來(lái)建立模型并求解；

進(jìn)化算法大類(lèi)中，EDA（Estimation of Distribution Algorithm）
算法通過(guò)一些機(jī)器學(xué)習(xí)模型來(lái)學(xué)習(xí)編碼和目標(biāo)函數(shù)之間的近似關(guān)系來(lái)提升迭代效率；

EDA之類(lèi)的分布概率估計(jì)算法，思想非常好，但是后續(xù)并沒(méi)有取得很大的成功，原因在于，復(fù)雜非線性?xún)?yōu)化問(wèn)題的解空間往往非?！浩閸纭?，Landscape 非常復(fù)雜，通過(guò)一些常規(guī)的線性模型、核模型、神經(jīng)網(wǎng)絡(luò)等，很難對(duì)其解空間進(jìn)行高精度的逼近。

凸優(yōu)化算法一般能夠高效解決的變量個(gè)數(shù)一般在1k-100k這個(gè)量級(jí)。

機(jī)器學(xué)習(xí)以及深度學(xué)習(xí)所伴隨的數(shù)據(jù)集規(guī)模（N），隨機(jī)算法（SGD-based method)、分布式算法被提出；

深度學(xué)習(xí)由于問(wèn)題極其扭曲（深），非線性程度很高，所以求解過(guò)程收斂速度和收斂性并沒(méi)有任何的保證；

在給定大量高質(zhì)量數(shù)據(jù)的前提下，深度網(wǎng)絡(luò)和深度學(xué)習(xí)算法展現(xiàn)出了相比較傳統(tǒng)機(jī)器學(xué)習(xí)模型精準(zhǔn)得多的逼近能力，能夠提供高精度的逼近效果；

應(yīng)用層面來(lái)說(shuō)，機(jī)器學(xué)習(xí)在‘預(yù)測(cè)’上比傳統(tǒng)運(yùn)籌和統(tǒng)計(jì)模型表現(xiàn)好是必然的，原因是傳統(tǒng)模型基于簡(jiǎn)單的假設(shè)，因?yàn)閺?fù)雜的假設(shè)可能無(wú)法快速的解出最優(yōu)解。更多的參數(shù)意味著這更好的擬合程度，雖然有過(guò)擬合的風(fēng)險(xiǎn)，但機(jī)器學(xué)習(xí)模型可以通過(guò)模型增加正則化，Bagging, Boosting等一些列方式防止過(guò)擬合，從而達(dá)到很好的預(yù)測(cè)效果。

image.png

image.png

image.png