1、特點(diǎn)
- 統(tǒng)計學(xué)習(xí)以數(shù)據(jù)為研究對象（數(shù)據(jù)驅(qū)動），以方法為中心，目的是為了對數(shù)據(jù)進(jìn)行預(yù)測與分析。
2、方法
統(tǒng)計學(xué)習(xí)包括監(jiān)督學(xué)習(xí)，非監(jiān)督學(xué)習(xí)，半監(jiān)督學(xué)習(xí)，強(qiáng)化學(xué)習(xí)。（以監(jiān)督學(xué)習(xí)為主進(jìn)行介紹）
統(tǒng)計學(xué)習(xí)的方法包括模型的假設(shè)空間、模型選擇的準(zhǔn)則以及模型學(xué)習(xí)的方法。
統(tǒng)計學(xué)習(xí)方法三要素：模型，策略，算法
統(tǒng)計學(xué)習(xí)方法步驟：
- 得到一個有限訓(xùn)練數(shù)據(jù)集
- 確定包含所有可能的模型假設(shè)空間，即學(xué)習(xí)模型的集合
- 確定模型選擇的準(zhǔn)則，即學(xué)習(xí)的策略
- 實(shí)現(xiàn)求解最優(yōu)模型的算法，即學(xué)習(xí)的方法
- 通過學(xué)習(xí)方法選擇最優(yōu)模型
- 利用學(xué)習(xí)的最優(yōu)模型對新數(shù)據(jù)進(jìn)行預(yù)測與分析
監(jiān)督學(xué)習(xí)
其任務(wù)是學(xué)習(xí)一個模型，使模型能夠?qū)τ谌我饨o定的輸入，對其對用的輸出做出一個好的預(yù)測（此處的輸入輸出為系統(tǒng)的輸入輸出，與學(xué)習(xí)的輸入輸出不同）
image.png
模型
統(tǒng)計學(xué)習(xí)首要考慮的問題是學(xué)習(xí)什么樣的模型，接著考慮按照什么樣的準(zhǔn)則學(xué)習(xí)或選擇最優(yōu)的模型。
策略：用經(jīng)驗(yàn)風(fēng)險估計期望風(fēng)險。經(jīng)驗(yàn)風(fēng)險是模型關(guān)于訓(xùn)練樣本集的平均損失，期望風(fēng)險是模型關(guān)于聯(lián)合分布的期望損失。但是經(jīng)驗(yàn)風(fēng)險估計期望風(fēng)險往往不理想，要對經(jīng)驗(yàn)風(fēng)險進(jìn)行矯正，這關(guān)系到監(jiān)督學(xué)習(xí)的兩個基本策略：經(jīng)驗(yàn)風(fēng)險最小化和結(jié)構(gòu)風(fēng)險最小化。
image.png
image.png
模型評估與選擇
方法：正則化和交叉驗(yàn)證
正則化：在經(jīng)驗(yàn)風(fēng)險上加正則化項(xiàng)
image.png
交叉驗(yàn)證（在數(shù)據(jù)不充足時使用）：
- 當(dāng)數(shù)據(jù)充足時，將數(shù)據(jù)隨機(jī)分為訓(xùn)練集（訓(xùn)練模型）、驗(yàn)證集（選擇模型）、測試集（評估最終的學(xué)習(xí)方法），選擇對驗(yàn)證集有最小預(yù)測誤差的模型。數(shù)據(jù)不充足時用交叉驗(yàn)證，基本思想為重復(fù)利用數(shù)據(jù)。
泛化能力
泛化誤差是所學(xué)習(xí)到的模型的期望誤差。
泛化誤差上界：通過比較兩種學(xué)習(xí)方法的泛化誤差上界的大小來比較優(yōu)劣。泛化誤差上界有以下性質(zhì)：它是樣本容量的函數(shù)，當(dāng)樣本容量增加時，泛化誤差上界趨于0；它是假設(shè)空間容量的函數(shù)，假設(shè)空間容量越大，模型越難學(xué)，泛化誤差上界就越大。
生成模型與判別模型
生成模型
image.png
判別模型
image.png
分類
分類是監(jiān)督學(xué)習(xí)的一個核心問題。當(dāng)輸出變量去有限個離散值是，預(yù)測問題便成為分類問題（輸入可以是離散的也可以是連續(xù)的）
分類問題分為學(xué)習(xí)和分類兩個過程
image.png
標(biāo)注
回歸
回歸用于預(yù)測輸入變量與輸出變量之間的關(guān)系，特別是當(dāng)輸入變量的值發(fā)生變化時，輸出變量是值隨之發(fā)生的變化。分為學(xué)習(xí)和預(yù)測兩個過程
