在機(jī)器學(xué)習(xí)中，有著許多模型，比如傳統(tǒng)的線性回歸模型，logistic回歸，soft max回歸啊之類(lèi)的很多，那么從傳統(tǒng)的線性回歸模型中我們觀察到，這并不能很好的解決因變量是離散的或者是分類(lèi)的這樣的情況，經(jīng)過(guò)國(guó)內(nèi)外許多數(shù)學(xué)界的大牛們長(zhǎng)期的摸索與驗(yàn)證，廣義線性模型的理論被逐步建立起來(lái)，用以解決以往傳統(tǒng)的線性回歸模型的缺陷。
在引入廣義線性模型之前，有必要先引入指數(shù)分布族（exponential family）這一概念
指數(shù)分布族的定義很簡(jiǎn)單，只要是形式上如同下圖這樣的即是指數(shù)分布族
其密度函數(shù)如果可以轉(zhuǎn)化成這種形式的話(huà)，那么就為指數(shù)分布族
η是一個(gè)自然的參數(shù)，T（y）是充分統(tǒng)計(jì)量，一般來(lái)說(shuō)T（y）=y，a（y）為累計(jì)量母函數(shù)。
正態(tài)分布，伯努利分布，泊松分布，指數(shù)分布等均屬于指數(shù)分布族，我們可以求出相應(yīng)的η的表達(dá)式。
根據(jù)三個(gè)假設(shè)來(lái)建立廣義線性模型
y的概率分布服從指數(shù)分布
計(jì)算T（y）的期望
η是x的線性表示
那么到這里你可能還是不知道廣義線性模型的作用，廣義線性模型的主要作用在于第二個(gè)假設(shè)中，計(jì)算T（y）的期望，一般情況下就是計(jì)算y的期望，那么和我們之前學(xué)習(xí)的利用一個(gè)h（x）去估計(jì)y是不是有點(diǎn)類(lèi)似呢，沒(méi)錯(cuò)，就是這樣的作用，我們之前利用一個(gè)線性帶參的函數(shù)h(x)去估計(jì)其實(shí)都是基于我們對(duì)樣本的理解從而主觀假設(shè)出來(lái)的，而廣義線性模型給出了一個(gè)通用的方法來(lái)計(jì)算出我們的假設(shè)函數(shù)h（x）
步驟一般是這樣的，首先通過(guò)指數(shù)分布族的建立，我們可以計(jì)算出指數(shù)分布的各個(gè)參數(shù)的表達(dá)式，然后利用對(duì)于T（y）的期望來(lái)試著去估計(jì)y，而T（y）的期望我們可以通過(guò)概率統(tǒng)計(jì)的知識(shí)用原有的概率密度函數(shù)的參數(shù)表示出來(lái)，再利用之前我們得到的表達(dá)式，關(guān)聯(lián)起來(lái)就可以得到T（y）和x之間的聯(lián)系
舉個(gè)簡(jiǎn)單的例子，伯努利分布（y只有0和1兩種取值）
首先轉(zhuǎn)換成指數(shù)分布族的形式
接著利用我們概率論的知識(shí)可以知道伯努利分布的期望就是概率，并且通過(guò)第三個(gè)假設(shè)我們知道x的線性表示其實(shí)就是μ，那么我們就將θ聯(lián)系起來(lái)了
最后利用期望來(lái)估計(jì)y，得到
這其實(shí)就是logistic回歸
到此，你應(yīng)該對(duì)廣義線性模型有個(gè)大概的了解，知道它有什么用怎么去用了。
