違背基本假設(shè)的回歸分析

回歸模型的基本假設(shè)：
假定隨機(jī)誤差項(xiàng)ε?，ε?，…，εn具有相同的方差，獨(dú)立或不相關(guān)。即對(duì)于所有樣本點(diǎn)，有：

又稱為高斯-馬爾柯夫條件。另外經(jīng)典線性回歸模型還假定自變量x之間無多重共線性。

但在建立實(shí)際方程模型時(shí)，常會(huì)遇到與假設(shè)相違背的情況。通常有：

• 異方差性

• 自相關(guān)性

• 多重共線性

接下來，將分別介紹異方差性、自相關(guān)性、多重共線性產(chǎn)生的背景和原因及影響，并描述相應(yīng)的診斷及處理方法。

1.異方差性

在實(shí)際問題中，常會(huì)出現(xiàn)某些因素隨著解釋變量觀測值的變化對(duì)被解釋變量產(chǎn)生不同的影響，導(dǎo)致隨機(jī)誤差具有不同的方差。事實(shí)上，引起異方差的原因多種多樣，通常樣本為截面數(shù)據(jù)時(shí)容易出現(xiàn)異方差性。

在存在異方差性時(shí)，如果仍采用最小二乘法估計(jì)參數(shù)，會(huì)導(dǎo)致回歸系數(shù)的t檢驗(yàn)值高估，可能造成本來不顯著的某些回歸系數(shù)變?yōu)轱@著。使參數(shù)檢驗(yàn)失去了意義。

因此，在建立模型前，應(yīng)進(jìn)行異方差性的檢驗(yàn)。常用方法有2種，一是殘差圖分析，二是懷特檢驗(yàn)：

• 殘差圖分析
  以殘差εi為縱坐標(biāo)，以擬合值y（或自變量x、觀測時(shí)間、序號(hào)）為橫坐標(biāo)做散點(diǎn)圖。如果εi不隨x和y變化而變化，則視作無異方差性。見下圖：
  圖片來源于《多元統(tǒng)計(jì)與SPSS分析》
  

  殘差圖類型

• 懷特檢驗(yàn)
  

  做輔助回歸。首先做y關(guān)于x的普通最小二乘回歸，求出εi的估計(jì)值ei，然后做以下輔助回歸：
  
  可以證明輔助回歸方程的可決系數(shù)R2滿足χ2分布。若nR2≤χ2，可認(rèn)為異方差不存在；否則殘差表明確實(shí)與解釋變量的某種組合有顯著的相關(guān)性。

注：SPSS中只能在定義時(shí)間序列的基礎(chǔ)上進(jìn)行懷特檢驗(yàn)，推薦使用SAS和eviews工具。

異方差性的補(bǔ)救措施：

• 加權(quán)最小二乘法（WLS）
  加權(quán)最小二乘法基本思想是對(duì)原模型加權(quán)，使之變?yōu)橐粋€(gè)新的不存在異方差的模型。
  

  假設(shè)線性回歸方程Y=Xβ+ε存在異方差性。cov(ε)=E(εε‘)=σ2W，其中，
  是一對(duì)稱正定矩陣，則存在一可逆矩陣D，使得W=DD'。用D'左乘原方程，得：
  
  
  新模型具有同方差性，再用最小二乘法估測模型。
  

  在使用加權(quán)最小二乘法時(shí)，為了消除異方差性的影響，觀測值的權(quán)數(shù)應(yīng)該是：

• 對(duì)數(shù)變換

  
  
  來源：百度文庫（https://wenku.baidu.com/view/d344b3146137ee06eef91818.html）
  
  

  取對(duì)數(shù)后，使得測定的值的尺度變小，同時(shí)，取對(duì)數(shù)后的殘差為相對(duì)誤差，比絕對(duì)誤差小。但是對(duì)數(shù)變換往往會(huì)造成數(shù)據(jù)的解釋意義不明確。因此要做出權(quán)衡。

SPSS應(yīng)用

利用SPSS軟件可以求出ωI的最優(yōu)值。

步驟：分析->回歸->權(quán)重估計(jì)，選入需要分析的變量，在進(jìn)行了上節(jié)普通最小二乘法并保存變量后，將Res_1選入權(quán)重變量，如圖：

權(quán)重估計(jì)對(duì)話框

輸出結(jié)果：

運(yùn)算輸出結(jié)果

2.自相關(guān)性

在實(shí)際問題的研究中，還會(huì)遇到變量在時(shí)序上出現(xiàn)相關(guān)的情況，這種情況被稱為自相關(guān)性。

自相關(guān)性產(chǎn)生的原因：

• 模型設(shè)定的偏誤
  在設(shè)定時(shí)，遺漏了關(guān)鍵變量，或采用了錯(cuò)誤的回歸形式，造成了不能完全回歸的部分被歸到誤差項(xiàng)內(nèi)。
• 經(jīng)濟(jì)變量的滯后性
  比如物價(jià)指數(shù)、國民收入、居民消費(fèi)等，都會(huì)對(duì)后期的值產(chǎn)生一定影響，這是這些經(jīng)濟(jì)變量本身所具有的性質(zhì)。
• 數(shù)據(jù)處理
  有些數(shù)據(jù)處理方法會(huì)通過已知數(shù)據(jù)生成未知數(shù)據(jù)，由此造成了自相關(guān)性。

后果：
在變量的顯著性檢驗(yàn)中，統(tǒng)計(jì)量是建立在方差正確估計(jì)的基礎(chǔ)上的。由于序列相關(guān)，估計(jì)的參數(shù)方差就會(huì)出錯(cuò)，從而導(dǎo)致變量的顯著性檢驗(yàn)失去意義。

相關(guān)性的檢驗(yàn)：
同異方差性檢驗(yàn)一樣，相關(guān)性檢驗(yàn)也被分為圖示法和定量檢驗(yàn)。

• 時(shí)間殘差圖
  先用最小二乘法估計(jì)回歸模型參數(shù)，求出殘差，按照時(shí)間順序繪制殘差項(xiàng)的圖形。如果殘差分布具有明顯和圓潤的線性分布圖像， 說明自相關(guān)性存在的可能性很高。反之， 無規(guī)則波動(dòng)大的分布圖像顯示出相關(guān)性微弱。如圖：圖片來源于：自相關(guān)性百度百科

自相關(guān)性比較

• 德賓-瓦森檢驗(yàn)法（DW檢驗(yàn)）
  步驟：分析->回歸->線性，選入需要分析的變量，再點(diǎn)擊Statistics，選擇下方的“Durbin-Watson”選項(xiàng)，如圖：

線性回歸對(duì)話框

輸出結(jié)果：

輸出結(jié)果

輸出DW=2.053

注：DW=4，完全負(fù)相關(guān)；DW=（2，4），負(fù)相關(guān)；DW=2，完全不相關(guān)；DW=（0，2），正相關(guān)；DW=0，完全正自相關(guān)

因?yàn)?.053接近2，因此可視作該樣本間無自相關(guān)。

相關(guān)性的處理方法：
如果模型被檢驗(yàn)證明存在自相關(guān)性，則需要發(fā)展新的方法估計(jì)模型。最常用的是廣義差分法，即用增量數(shù)據(jù)代替原來的樣本數(shù)據(jù)，將原來的回歸模型變?yōu)椴罘中问降哪Ｐ?，接著再進(jìn)行普通最小二乘法進(jìn)行估計(jì)。

為此，要在廣義差分法之前利用德賓兩步法對(duì)自相關(guān)性進(jìn)行修正。

3.多重共線性

研究實(shí)際問題是，解釋變量常有多個(gè)，而變量之間完全不相關(guān)的情形是非常少見的。當(dāng)變量之間具有較強(qiáng)相關(guān)性時(shí)，認(rèn)為違背了多元線性回歸模型基本假設(shè)。

多重共線性的檢驗(yàn)：
步驟：分析->回歸->線性，選入需要分析的變量，再點(diǎn)擊Statistics，選擇右側(cè)的“共線性診斷”選項(xiàng)，如圖：

線性對(duì)話框

輸出結(jié)果：

輸出結(jié)果

注：特征根（Eigenvalue）：多個(gè)維度特征根約為0證明存在多重共線性；條件指數(shù)（Condition Index）：大于10時(shí)提示我們可能存在多重共線性

由上表可知，VIF1、VIF2、VIF3、VIF4均遠(yuǎn)大于10，說明簡單采用Enter法強(qiáng)制輸入的回歸方程存在嚴(yán)重的多重共線性。

表二中特征值和條件指數(shù)再次說明了這一點(diǎn)。

多重共線性的處理方法：

• 方法一：剔除不重要的解釋變量。利用逐步回歸的方法，剔除方差擴(kuò)大因子最大的變量，直到回歸方程中不再存在嚴(yán)重的多重共線性。
• 方法二：當(dāng)變量數(shù)不夠，不能選擇剔除變量時(shí)，可以增大樣本容量。盡量使樣本容量遠(yuǎn)大于自變量個(gè)數(shù)。

相關(guān)文章：
SPSS經(jīng)典線性回歸分析之一——線性回歸分析
SPSS經(jīng)典線性回歸分析之二——逐步回歸分析