1-廣義線性模型

-幾種不同模型概括

????? * 線性模型（Classical Linear Model）：結(jié)局變量為連續(xù)變量，服從正態(tài)分布（殘差~N(0,σ^2)），滿足獨立性、等方差性（方差為常量）。自變量也為連續(xù)變量。即線性回歸。

?????* 一般線性模型（General Linear Model）：線性模型的擴(kuò)展。在其基礎(chǔ)上，自變量可以是連續(xù)變量，也可以是分類變量。比如線性回歸、方差分析、協(xié)方差分析等。對應(yīng)SAS中的Proc GLM過程。

?????* 線性混合效應(yīng)模型（Linear Mixed Model ）：一般線性模型的擴(kuò)展。允許數(shù)據(jù)不滿足獨立性和等方差性，但是結(jié)局變量仍為連續(xù)變量，仍需符合線性假設(shè)?？梢酝瑫r包含固定效應(yīng)和隨機(jī)效應(yīng)。對應(yīng)SAS中的Proc MIXED過程。

????? * 廣義線性模型（Generalized Linear Model ）：一般線性模型的擴(kuò)展。模型左側(cè)結(jié)局變量為指數(shù)分布族中的一種，不要求服從正態(tài)分布，可以是連續(xù)變量，也可以是分類變量。模型右側(cè)仍為線性組合，通過連接函數(shù)進(jìn)行連接。對應(yīng)SAS中的Proc GENMOD過程。

?????* 廣義線性混合效應(yīng)模型（Generalized Linear Mixed Model）：相當(dāng)于廣義線性模型和線性混合效應(yīng)模型的綜合。對應(yīng)SAS中的Proc GLIMMIX過程。

- 廣義線性模型（Generalized linear model）

?????廣義線性模型的因變量需要為指數(shù)分布族中的一種。正態(tài)分布、二項分布、泊松分布等都可以轉(zhuǎn)換成指數(shù)分布族的形式。

?????Exponential Dispersion Family
不同文獻(xiàn)中的標(biāo)注不太一樣，SAS中的ai(Φ)有些文獻(xiàn)中直接標(biāo)注為Φ

?????均值和方差都可以通過b(θ)進(jìn)行計算：
SAS help

幾個參數(shù)的含義如下，分布族中的其他分布對應(yīng)參數(shù)的不同形式。
大概看一下幫助理解。
?????Φ：dispersion parameter/scale parameter。常量，已知或待估計。
?????θ：Canonical form of the location parameter?？梢员硎揪郸痰暮瘮?shù)
?????b(θ)：θ的函數(shù)。
?????y：已知的因變量。

e.g. 正態(tài)分布
Applying Generalized Linear Models
?
SAS Help

????? ????? ?????SAS中的Φ=a_i(Φ)=σ^2，Scale=sqrt(a_i(Φ))=σ

e.g.伽馬分布
Applying Generalized Linear Models

SAS help
????? ??????????SAS中的Φ=a_i(Φ)=v^{-1}，Scale=1/a_i(Φ)=v

SAS Help中不同分布對應(yīng)的Scale
模型的3個要素:
  1. 因變量（Random component），服從指數(shù)分布族。e.g. 正態(tài)分布、泊松分布。
  2. 線性預(yù)測組合（Systematic component）。由協(xié)變量x_1,x_2, ..., x_p組成的線性預(yù)測 η=x_1β_1+...+x_pβ_p。β待估計。
  3. 連接函數(shù)（Link Function）：連接因變量均值和線性預(yù)測組合之間的單調(diào)可微函數(shù)g(.)，使因變量符合線性組合的范圍。

X^Tβ=g(μ)，μ=g^{-1}(X^Tβ)。

一般線性模型中（1）為正態(tài)分布，（3）的連接函數(shù)為恒等函數(shù)（identity function）。
廣義線性模型允許（1）為非正態(tài)分布，（3）可以是任何單調(diào)可微的函數(shù)。

**

模型中涉及到canonical link function的概念。SAS中描述為：
The canonical link function is that function which transforms the mean to a canonical location parameter of the exponential dispersion family member。
一個模型對應(yīng)的Link function可能有多個，如二項分布對應(yīng)的link function可以是probit或者logit，都可以將(0,1)范圍內(nèi)的概率轉(zhuǎn)換至線性組合的范圍，使g(μ)∈(-∞,+∞)。 但只有連接均值μ和Canonical parameter-θ的函數(shù)g被稱之為Canonical Link function。即g(μ)=θ。
因為μ=b'(θ)，則θ=(b’)^{-1}(μ) ，g(μ)=θ=(b’)^{-1}(μ)。

二項分布的例子：
p^y(1-p)^{1-y}=exp(ylogp+(1-y)log(1-p))=exp(ylog(\frac{p}{1-p})+log(1-p))
對應(yīng)θ=log(\frac{p}{1-p}), 即Canonical link function為log(\frac{p}{1-p})，即為logit變換。b(θ)=-log(1-p)，p=\frac{e^θ}{1+e^θ}，b(θ)=ln(1+e^θ)

參考了以下的視頻和書，幫助理解：
B站的視頻：https://b23.tv/igMu8hr
書：Applying Generalized Linear Models

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容