0.簡介 在凸優(yōu)化研究中，數(shù)學優(yōu)化問題遵循以下形式： 是一個稱為優(yōu)化變量的向量 是一個我們想要最小化的凸函數(shù) 是一套凸集，描述了一組可行（能夠完成或執(zhí)行）的解決方案 作...
IP屬地：福建
-
西瓜書擴展_支持向量機_間隔與支持向量二分類問題 這里我們考慮的是一個兩類的分類問題，數(shù)據(jù)點用來表示，這是一個維向量，而類別用來表示，可以取或者，分別代表兩個不同的類： 劃分超平面方程 一個線性分類器就是要在...
-
西瓜書擴展_拉格朗日對偶
原始目標函數(shù)（有約束條件） 對于任意一個帶約束的優(yōu)化都可以寫成這樣的形式： 新構(gòu)造的目標函數(shù)（沒有約束條件） 因為我們要求解的是最小化問題，所以一個直觀的...
-
西瓜書擴展_學習理論概念=未知目標函數(shù) 樣本集大小 “不可知PLA可學習” 二分類問題，0-1損失函數(shù)（0-1 loss function） 泛化誤差（generalization error）...
-
-
奇異值分解的幾何意義闡述
對角矩陣是我們最喜歡的一類矩陣，因為給定一個對角陣立即就可以得到它的特征值，行列式，冪和指數(shù)函數(shù)等等 而一個階的方陣相似于對角陣當且僅當它存在著個線性無關的特征向量。 特征值...
-
深度學習擴展_梯度下降：當發(fā)生微小變化的時候，的變化有多大。可用式子表示 是梯度，指向最陡上升方向。 是方向?qū)?shù)，并不指向最陡上升方向。 ，沿著方向的微小推動可以被分解成方向上的2個微小推動，方向...
-
深度學習擴展_最大似然估計
極大似然估計，通俗理解來說，就是利用已知的樣本結(jié)果信息，反推最具有可能（最大概率）導致這些樣本結(jié)果出現(xiàn)的模型參數(shù)值！ 換句話說，極大似然估計提供了一種給定觀察數(shù)據(jù)來評估模型參...
-
深度學習擴展_信息論
首先來看離散型隨機變量。考慮隨機變量取某一個特定值時包含的信息量的大小。假設隨機變量取值為，對應的概率為。直觀來看，取這個值的可能性越小，而它又發(fā)生了，則包含的信息量就越大。...