吳恩達(dá)機(jī)器學(xué)習(xí)-Chapter 15 降維

目的:降維的應(yīng)用、概念、及算法。降維的3個目的:數(shù)據(jù)壓縮、加速算法(縮小特征變量)、數(shù)據(jù)可視化。降維本身也是一種無監(jiān)督學(xué)習(xí)算法。

1. Lesson 115 數(shù)據(jù)壓縮

????1. 目的:降維的第一個應(yīng)用 數(shù)據(jù)壓縮
????2. 內(nèi)容:
??????1. 降維實際上就是減少特征變量(這里說的降維是針對特征變量進(jìn)行向量化而言),比如3維降到2維就是指3個特征變量縮小到2個特征變量
??????2. 當(dāng)特征變量太多,而且重復(fù)度高(相關(guān)性高)在數(shù)據(jù)存儲和算法計算量上會造成浪費

2. Lesson 116 數(shù)據(jù)可視化

???? 1. 目的:降維的第二個應(yīng)用 數(shù)據(jù)可視化
???? 2. 內(nèi)容:當(dāng)超過3維之后(超過3個變量)無法可視化,只有2維和3維才能得到比較理想的可視化

3. Lesson 117 主成分分析問題規(guī)劃1

????1. 目的:介紹主成分分析算法PCA
????2. 內(nèi)容:

?????? 1. 將數(shù)據(jù)點投影到投影平面(左下圖是2維降到1維,右下圖是3維降到2維),并使投影誤差最小
image.png

?????? 2. PCA與線性回歸不同,前者是點到線的最短垂直距離,后者是點到線的直線距離(垂直于坐標(biāo)軸);前者無預(yù)測標(biāo)簽(無監(jiān)督),后者有預(yù)測y(有監(jiān)督)
image.png

4. Lesson 118 主成分分析問題規(guī)劃2

????1. 目的:講解PCA具體算法
????2. 內(nèi)容:

??????1. 數(shù)據(jù)預(yù)處理:均值標(biāo)準(zhǔn)化、特征縮放
數(shù)據(jù)預(yù)處理.png

?? ????2. PCA具體算法步驟
PCA算法步驟.png

??????3. 統(tǒng)計學(xué)基本概念,我們給定一個含有n個樣本的集合,下面給出這些概念的公式描述。
image.png

??????4. 協(xié)方差及其意義
image.png

??????5. 協(xié)方差矩陣
image.png

5. Lesson 119 主成分?jǐn)?shù)量選擇

????1. 目的:m維數(shù)據(jù)降到k維,k值的選擇

6. Lesson 120 壓縮重現(xiàn)

????1. 目的:m維數(shù)據(jù)降到K維之后,通過K維數(shù)據(jù)恢復(fù)m維數(shù)據(jù)

7. Lesson 121 應(yīng)用PCA建議

????1. 目的:如何應(yīng)用PCA及相關(guān)建議
????2. 內(nèi)容:
??????1. PCA錯誤用法:防止過擬合,防止過擬合正確的做法是正則化
??????2. PCA不是每個算法中必用的,根據(jù)需要選擇

??????3. PCA加速有監(jiān)督學(xué)習(xí)算法步驟:1)對x特征集通過pca得到降維后的特征集z;2)特征集z和標(biāo)簽y組成新的訓(xùn)練集進(jìn)行預(yù)測等;3)PCA只能用在訓(xùn)練集上,在得到x=>z映射之后再應(yīng)用到交叉驗證集上,得到新數(shù)據(jù)樣本的特征集z
image.png
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容