方法?。健∧Ｐ汀。呗浴。∷惴?/p>

統(tǒng)計(jì)學(xué)習(xí)首要考慮的問(wèn)題是學(xué)習(xí)什么樣的模型。在監(jiān)督學(xué)習(xí)過(guò)程中，模型就是所要學(xué)習(xí)的條件概率分布或決策函數(shù)。模型的假設(shè)空間（hypothesis space）包含所有可能的條件概率分布或決策函數(shù)。例如，假設(shè)決策函數(shù)是輸入變量的線(xiàn)性函數(shù)，那么模型的假設(shè)空間就是所有這些線(xiàn)性函數(shù)構(gòu)成的函數(shù)集合。假設(shè)空間中的模型一般有無(wú)窮多個(gè)。

? ??????有了做模型的假設(shè)空間，統(tǒng)計(jì)學(xué)習(xí)接著需要考慮的是按照什么樣的準(zhǔn)則學(xué)習(xí)或選擇最優(yōu)的模型。統(tǒng)計(jì)學(xué)習(xí)的目標(biāo)在于從假設(shè)空間中選取最優(yōu)模型。

（按照何種準(zhǔn)則學(xué)習(xí)最優(yōu)的模型，就是學(xué)習(xí)策略）

????????首先引入損失函數(shù)與風(fēng)險(xiǎn)函數(shù)的概念。損失函數(shù)度量模型一次預(yù)測(cè)的好壞，風(fēng)險(xiǎn)函數(shù)度量平均意義下模型預(yù)測(cè)的好壞。

監(jiān)督學(xué)習(xí)問(wèn)題是在假設(shè)空間Γ中選取模型f作為決策函數(shù)，對(duì)于給定的輸入X，由f(X)給出相應(yīng)的輸出Y，這個(gè)輸出的預(yù)測(cè)值f(X)與真實(shí)值Y可能一樣可能不一樣，用一個(gè)損失函數(shù)（loss function）或代價(jià)函數(shù)（cost function）來(lái)度量預(yù)測(cè)錯(cuò)誤的程度。損失函數(shù)f(X)和Y的非負(fù)實(shí)值函數(shù)，記作L（Y，f(X)）.

統(tǒng)計(jì)學(xué)習(xí)常用的損失函數(shù)有以下幾種：

????????????（1）0-1損失函數(shù)（0-1 loss function）

L(Y,f(X))={1,0,Y is not equal to f(X)Y is equal to f(X)

????????????（2）平方損失函數(shù)（quadratic loss function）????

L(Y,f(Y))=(Y?f(X))2

????????????（3）絕對(duì)損失函數(shù)（absolute loss function）

L(Y,f(Y))=|(Y?f(X)|

????????????（4）對(duì)數(shù)損失函數(shù)（logarithmic loss function）或?qū)?shù)似然損失函數(shù)（loglikelihood loss function）

L(Y,P(Y|X))=?logP(Y|X)

損失函數(shù)值越小，模型就越好。由于模型的輸入、輸出（X,Y）是隨機(jī)變量，遵循聯(lián)合分布P（X,Y），所以損失函數(shù)的期望是

????????????????????Rexp(f)=Ep[L(Y,f(X))]=∫x?yL(y,f(x))P(x,y)dXdy

這是理論上模型f(X)關(guān)于聯(lián)合分布P（X,Y）的平均意義下的損失，稱(chēng)為風(fēng)險(xiǎn)函數(shù)（risk function）或期望損失（expected loss）。

????學(xué)習(xí)的目標(biāo)就是選擇期望風(fēng)險(xiǎn)最小的模型。由于聯(lián)合分布P(X,Y)是未知的，$R_{exp}(f)$不能直接計(jì)算。實(shí)際上，如果知道聯(lián)合分布P{X,Y}，可以從聯(lián)合分布直接求出條件概率分布P(Y|X),也就不需要學(xué)習(xí)了。正因?yàn)椴恢缆?lián)合概率分布，所以才需要進(jìn)行學(xué)習(xí)。這樣一來(lái)，一方面根據(jù)期望風(fēng)險(xiǎn)最小學(xué)習(xí)模型要用到聯(lián)合分布，另一方面聯(lián)合分布又是未知的，所以監(jiān)督學(xué)習(xí)就稱(chēng)為一個(gè)病態(tài)為題（ill-formed problem）

? ? ? ? ? ?期望風(fēng)險(xiǎn)Rexp（f）是模型關(guān)于聯(lián)合分布的期望損失，經(jīng)驗(yàn)風(fēng)險(xiǎn)Remp是模型關(guān)于訓(xùn)練樣本集的平均損失。根據(jù)大數(shù)定律，當(dāng)樣本容量N趨于無(wú)窮時(shí)，經(jīng)驗(yàn)風(fēng)險(xiǎn)Remp（f）趨于期望風(fēng)險(xiǎn)Rexp（f）.所以一個(gè)很自然的想法是用經(jīng)驗(yàn)風(fēng)險(xiǎn)估計(jì)期望風(fēng)險(xiǎn)。但是，由于現(xiàn)實(shí)中訓(xùn)練樣本數(shù)目有限，甚至很小，所以用經(jīng)驗(yàn)風(fēng)險(xiǎn)估計(jì)期望風(fēng)險(xiǎn)常常不理想，要對(duì)現(xiàn)實(shí)中訓(xùn)練樣本數(shù)目有限，甚至很少，所以用經(jīng)驗(yàn)風(fēng)險(xiǎn)估計(jì)期望風(fēng)險(xiǎn)常常并不理想，要對(duì)經(jīng)驗(yàn)風(fēng)險(xiǎn)進(jìn)行一定的矯正，這就關(guān)系到監(jiān)督學(xué)習(xí)的兩個(gè)基本策略：經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化與結(jié)構(gòu)風(fēng)險(xiǎn)最小化。

? ??????當(dāng)樣本容量足夠大時(shí)，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化能保證有很好的學(xué)習(xí)效果，在現(xiàn)實(shí)中被廣泛采用。比如，極大似然估計(jì)（maximum likelihood estimation）就是經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的一個(gè)例子。當(dāng)模型是條件概率分布，損失函數(shù)是對(duì)數(shù)損失函數(shù)時(shí)，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化就等價(jià)于極大似然估計(jì)。

但是，當(dāng)樣本容量很小時(shí)，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化學(xué)習(xí)的效果就未必很好，會(huì)產(chǎn)生后邊將要敘述的“過(guò)擬合（over-fitting）”現(xiàn)象。

????????結(jié)構(gòu)風(fēng)險(xiǎn)最小化（structural risk minimization，SRM）是為了防止過(guò)擬合而提出來(lái)的策略。結(jié)構(gòu)風(fēng)險(xiǎn)最小化等價(jià)于正則化（regularization）。結(jié)構(gòu)風(fēng)險(xiǎn)在經(jīng)驗(yàn)風(fēng)險(xiǎn)上加上表示模型復(fù)雜度的正則化項(xiàng)（regularizer）或罰項(xiàng)（penalty term）。

????????????算法是指學(xué)習(xí)模型的具體計(jì)算方法。統(tǒng)計(jì)學(xué)習(xí)基于訓(xùn)練數(shù)據(jù)集，根據(jù)學(xué)習(xí)策略，從假設(shè)空間中選擇最優(yōu)模型，最后需要考慮用什么樣的計(jì)算方法求解最優(yōu)模型。這時(shí)，統(tǒng)計(jì)學(xué)習(xí)問(wèn)題歸結(jié)為最優(yōu)化問(wèn)題，統(tǒng)計(jì)學(xué)習(xí)的算法成為求解最優(yōu)化問(wèn)題的算法。

非常好的一篇技術(shù)文檔，啦啦啦，我是勤勞的搬運(yùn)工～

https://www.2cto.com/kf/201609/546221.html

作者：suxuer

鏈接：http://www.itdecent.cn/p/360a62a8e77c

來(lái)源：簡(jiǎn)書(shū)

簡(jiǎn)書(shū)著作權(quán)歸作者所有，任何形式的轉(zhuǎn)載都請(qǐng)聯(lián)系作者獲得授權(quán)并注明出處。