1.3 統(tǒng)計(jì)學(xué)習(xí)三要素

1.3.2 策略

? ? ?? 損失函數(shù)和風(fēng)險(xiǎn)函數(shù)。損失函數(shù)度量模型一次預(yù)測(cè)的好壞，風(fēng)險(xiǎn)函數(shù)度量平均意義下模型預(yù)測(cè)的好壞。

? ? ? 監(jiān)督學(xué)習(xí)問(wèn)題是在假設(shè)空間中選取模型f作為決策函數(shù)，對(duì)于給定的輸入X，由f（X）給出相應(yīng)的輸出Y，這個(gè)輸出的預(yù)測(cè)值f(X)與真實(shí)值Y可能一致也可能不一致，用一個(gè)損失函數(shù)或者代價(jià)函數(shù)來(lái)度量預(yù)測(cè)錯(cuò)誤的程度。損失函數(shù)是f（x）和Y的非負(fù)實(shí)值函數(shù)，記作L（Y，f（X））。常見(jiàn)的損失函數(shù)又0-1損失函數(shù)，平方損失函數(shù)，絕對(duì)損失函數(shù)，對(duì)數(shù)損失函數(shù)。損失函數(shù)值越小，模型就越好。

? ? ? 風(fēng)險(xiǎn)函數(shù)是損失函數(shù)的期望，是理論上模型f（X）關(guān)于聯(lián)合分布P（X，Y）的平均意義下的損失。

? ?? 監(jiān)督學(xué)習(xí)的兩個(gè)基本策略是經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化（empirical risk minimization，ERM）和結(jié)構(gòu)風(fēng)險(xiǎn)最小化（structural risk minimization，SRM）。ERM的策略認(rèn)為，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小的模型是最優(yōu)的模型。但是，當(dāng)樣本容量很小時(shí)，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的學(xué)習(xí)的效果就未必很好，會(huì)產(chǎn)生“過(guò)擬合”的現(xiàn)象。SRM的策略認(rèn)為結(jié)構(gòu)風(fēng)險(xiǎn)最小的模型是最好的模型。SRM是為了防止過(guò)擬合而提出的策略，SRM等價(jià)于正則化。結(jié)構(gòu)風(fēng)險(xiǎn)在經(jīng)驗(yàn)風(fēng)險(xiǎn)上加上表示模型復(fù)雜度的正則化項(xiàng)或者罰項(xiàng)。因此，監(jiān)督學(xué)習(xí)問(wèn)題就變成了經(jīng)驗(yàn)風(fēng)險(xiǎn)和結(jié)構(gòu)風(fēng)險(xiǎn)函數(shù)最優(yōu)化問(wèn)題。這時(shí)經(jīng)驗(yàn)或結(jié)構(gòu)風(fēng)險(xiǎn)函數(shù)是最優(yōu)化的目標(biāo)函數(shù)。

1.5 正則化與交叉驗(yàn)證

? ?? 正則化是結(jié)構(gòu)風(fēng)險(xiǎn)最小化策略的實(shí)現(xiàn)，是在經(jīng)驗(yàn)風(fēng)險(xiǎn)上加上一個(gè)正則化項(xiàng)（regularizer）或懲罰項(xiàng)（penalty term）。正則化項(xiàng)一般是模型復(fù)雜度的單調(diào)遞增函數(shù)，模型越復(fù)雜，正則化值就越大，比如，正則化項(xiàng)可以是模型參數(shù)向量的范數(shù)。正則化的作用是選擇經(jīng)驗(yàn)風(fēng)險(xiǎn)和模型復(fù)雜度同時(shí)將校的模型。

1.5.2 交叉驗(yàn)證

? ? 另外一種常用的模型選擇的方法是交叉驗(yàn)證。交叉驗(yàn)基本想法是重復(fù)地使用數(shù)據(jù)，把給定的數(shù)據(jù)進(jìn)行切分，將切分的數(shù)據(jù)集組合為訓(xùn)練集和測(cè)試集，在此基礎(chǔ)上反復(fù)地進(jìn)行訓(xùn)練、測(cè)試以及模型的選擇。

簡(jiǎn)單交叉驗(yàn)證：首先隨機(jī)地將已給數(shù)據(jù)分為兩個(gè)部分，一部分作為訓(xùn)練數(shù)據(jù)集，另一部分作為測(cè)試數(shù)據(jù)集。然后用訓(xùn)練集在各種條件下訓(xùn)練模型，從而得到不同的模型，在測(cè)試集上評(píng)價(jià)各個(gè)模型的測(cè)試誤差，選出測(cè)試誤差最小的模型。

S折交叉驗(yàn)證：隨機(jī)地將已給數(shù)據(jù)切分成互不相交的大小相同的子集，然后利用S-1個(gè)子集的數(shù)據(jù)訓(xùn)練模型，利用余下的子集測(cè)試模型；將這一過(guò)程對(duì)可能的S種選擇重復(fù)進(jìn)行；最后選出S次評(píng)測(cè)種平均測(cè)試誤差最小的模型。

留一交叉驗(yàn)證：S折交叉驗(yàn)證的特殊情形是S = N，成為留一交叉驗(yàn)證，往往在數(shù)據(jù)缺乏的情況下使用。