1. 數(shù)據(jù)降維
考慮數(shù)據(jù)x1=[90, 120, 110, 145]、x2=[93, 105, 98, 130]、x3=[86, 110, 88, 120]是三個學(xué)生的成績。我們可以通過成績總和sum(xi)來判斷那個學(xué)生在學(xué)業(yè)方面更優(yōu)秀。這是把4維數(shù)據(jù)放到1維上，并且使得數(shù)據(jù)可分。
但是，我想依據(jù)后面3門課的成績總和來判斷學(xué)業(yè)情況。如果可分的話，計算量會少一些。
PCA的降維做法類似于就是從4門課中選擇3門課。不過選擇的3門課成績可以是4門課的線性組合。
2. 實現(xiàn)
怎么進行4門課成績的線性組合呢？一個3×4的權(quán)重矩陣 乘以 一個4×1的成績矩陣，得到3個數(shù)。如果這3個數(shù)能反映之前的4個數(shù)，那么數(shù)據(jù)降維應(yīng)該是可以的。
怎么認為這3個數(shù)能反映之前的4個數(shù)呢？通過一個4×3的權(quán)重矩陣 乘以 一個3*1的成績矩陣。如果結(jié)果與原來的4門成績相近，那么應(yīng)該是可以反映的。如果結(jié)果與原來的4門成績一樣，那么3門成績就是4門成績的線性組合。后續(xù)的對3門成績做線性組合可以等效于對4門成績做線性組合。
d-d'-d網(wǎng)絡(luò)
為了防止過擬合，做如下正則化：3×4的權(quán)重矩陣 和 4×3的權(quán)重矩陣 互為轉(zhuǎn)置。
誤差定義如下：
error
WW'是hermite矩陣，可以實現(xiàn)如下的非奇異分解：
接下來求：
error
因為
V是酉矩陣，所以相當(dāng)于進行旋轉(zhuǎn)或反射操作，不改變模大小。所以可以不考慮紅色的V。注意W現(xiàn)在不需要求了，變量是
L和V。任意改變L時，最小值時，L滿足
接下來求：
因為:
V不改變模大小。每個V' X的模是X的模。
所以，最終和是λ。我們應(yīng)該選擇最大的那個λ。所以，
對于普通的d'：
3. 總結(jié)：
