關(guān)于AIC準(zhǔn)則

AIC準(zhǔn)則提出背景

  • 計量經(jīng)濟(jì)學(xué)
  1. 研究對象：量化的社會經(jīng)濟(jì)問題
  2. 研究目的：利用已有信息，通過模型發(fā)現(xiàn)內(nèi)在機(jī)理，并對未知信息作出統(tǒng)計推斷
  3. 核心問題：保證模型反映數(shù)據(jù)所代表的主要信息，降低噪聲干擾項的影響，保證模型的預(yù)測準(zhǔn)確性
  4. 模型包含的信息量能否盡可能大？不能。一是干擾信息無法避免；二是若模型包含了全部信息，則模型的復(fù)雜度也會相應(yīng)提高，相應(yīng)地會提高經(jīng)濟(jì)學(xué)成本；三是人無法對模型的準(zhǔn)確性做出客觀而科學(xué)的評斷。
  • 信息論
  1. 信息熵：信源發(fā)出的信息中包含的不確定性大小
    H(u) = E(I(a_i)) = - \sum_{i=1} ^n p(a_i) \mathrm{log} p(a_i)
  2. 最大熵：衡量通信信息有效性和可靠性的概念，當(dāng)信息過少時，信息傳遞的有效性、可靠性降低，當(dāng)信息過多時，信息傳遞的經(jīng)濟(jì)性降低。類似地，在模型識別中需要在擬合效果和參數(shù)個數(shù)之間達(dá)到均衡。
  3. K-L距離/K-L信息量：表示真實概率分布和估計分布的差異，K-L信息量越小，估計的概率分布蘊含的信息越能反映真實分布。它是對傳統(tǒng)似然估計、最小二乘估計思路的拓展，這兩種估計僅從樣本信息出發(fā)，要求模型最佳地擬合樣本數(shù)據(jù)，而忽略了總體信息，所以還必須對樣本施加額外的要求。

設(shè)P(x)表示定義在事件空間上的概率，當(dāng)用Q(x)進(jìn)行編碼時，定義K-L距離為：D(P||Q) = \int \mathrm{ln} \frac{P(x)}{Q(x)} dx = \sum_{x \in \Omega} P(x) \mathrm{ln} \frac{P(x)}{Q(x)} \\\\ = E(\mathrm{ln} \frac{P(x)}{Q(x)} )

常見模型識別方法

對于時間序列模型滯后階數(shù)和模型選擇問題，AIC準(zhǔn)則之外常見的有假設(shè)檢驗、極大似然函數(shù)、C_p統(tǒng)計量法。這些法則的共同點在于：從殘差控制或樣本信息反映總體信息大小角度評價，充分考慮每個樣本，主要提高模型有效性，忽略模型可靠性。此外每種方法還各自存在不足：

  1. 假設(shè)檢驗：
  • 需要主觀確定顯著性水平
  • 存在不對稱性：
    a 證實和證偽不對稱：從邏輯學(xué)上說，沒有可以得到徹底證實的東西，而證偽只需要一次足夠強的證據(jù)即可；
    b 犯第一類錯誤和第二類錯誤不對稱性：從統(tǒng)計學(xué)上說，假設(shè)檢驗中一般只控制犯第一類錯誤的概率，導(dǎo)致犯第一類錯誤的概率較小，而犯第二類錯誤的概率可能較大；
    c 經(jīng)濟(jì)意義和統(tǒng)計意義不對稱性：從經(jīng)濟(jì)學(xué)上說，假設(shè)檢驗是基于數(shù)據(jù)的統(tǒng)計學(xué)方法，統(tǒng)計顯著的結(jié)果在實際中可能不顯著。
  1. 極大似然估計
  • 前提：需要假定隨機(jī)樣本服從某個概率分布，未知參數(shù)的值應(yīng)當(dāng)使得樣本的似然函數(shù)值達(dá)到最大。
  • 特點：在利用樣本反映總體信息上達(dá)到最優(yōu)，模型的可靠性很高
  • 不足：模型的有效性較低，當(dāng)參數(shù)個數(shù)增加時，極大似然估計可以無限接近總體情況。
  1. C_p統(tǒng)計量
    通過對模型預(yù)測誤差進(jìn)行控制，并用總體方差進(jìn)行調(diào)整。
    C_p = \frac{SSE_p}{\hat{\sigma}^2} - n + 2p
    主要存在的問題在于總體方差較難估計。
  2. 最終預(yù)報誤差
  • 優(yōu)點：通過對預(yù)測誤差的控制實現(xiàn)模型選擇，而非從樣本信息反映總體信息程度角度。
  • 理解：最終預(yù)報誤差是損失函數(shù)的一種測度，損失函數(shù)越小，表明樣本信息提取的越充分，模型用于預(yù)測的效果越好。
  • 公式：對于AR(n)模型，最終預(yù)報誤差為：FPE(n) = \frac{N+n}{N-n}(\gamma(0) - \sum_{i=1}^n \hat{\phi}_i \gamma _i)

一般模型擬合階數(shù)最高不會超過樣本量的\frac2 3

AIC準(zhǔn)則及其改進(jìn)

AIC準(zhǔn)則

AIC = -2l(\hat{\theta}) + 2k

  • AIC準(zhǔn)則的第一部分是極大似然函數(shù)的對數(shù)，是從樣本信息對總體信息的反映程度即模型擬合情況考慮的；第二部分是對第一部分的懲罰，達(dá)到滿足模型有效性和可靠性條件下參數(shù)個數(shù)最少。
  • AIC準(zhǔn)則突破了以往僅從模型擬合情況的評價標(biāo)準(zhǔn)，其出發(fā)點是最小化信息論中的K-L距離（相對熵），需要同時滿足有效性、可靠性和經(jīng)濟(jì)性。AIC值越小，估計概率分布越接近真實分布。
  • 大樣本條件下，AIC準(zhǔn)則中第二部分的懲罰較小，第一項起主導(dǎo)作用，最優(yōu)模型不收斂于真實情況。

從FPC準(zhǔn)則到AIC準(zhǔn)則的改進(jìn)表示了從預(yù)測因變量到預(yù)測因變量分布的本質(zhì)變化。

AIC準(zhǔn)則的改進(jìn)

BIC/SBC準(zhǔn)則（貝葉斯信息準(zhǔn)則）

BIC = -2l(\hat{\theta}) + k \mathrm{ln} n

  • BIC準(zhǔn)則第二項中引入后驗概率后驗概率 \propto 先驗概率 \times 似然值（樣本信息）將樣本量個數(shù)作為模型優(yōu)化的因素，考慮了樣本量對真實模型估計的影響，在大樣本條件下估計效果更好。
  • 小樣本情況下AIC準(zhǔn)則第二項約束更強，大樣本條件下BIC準(zhǔn)則第二項約束更強。一般當(dāng)樣本量大于35時使用BIC準(zhǔn)則。

AIC準(zhǔn)則應(yīng)用

  1. 模型定階和模型選擇
  2. 獨立性檢驗
    列聯(lián)表獨立性檢驗中，對數(shù)似然函數(shù)為l = \sum_i \sum_j n(i,j) \mathrm{ln} p(i,j)當(dāng)對模型沒有限制時，取p(i,j) = n(i,j)/N可得最大似然函數(shù)值，且參數(shù)p(i,j)中可自由取值的個數(shù)為rc-1，此時AIC信息量為AIC_1=(-2)\sum_i \sum_j n(i,j) \mathrm{ln} \frac{n(i,j)}{N}+2\cdot (rc - 1)當(dāng)對模型有獨立性限制時，p(i,j) = p(i, \cdot) p(\cdot,j), \sum_{i}p(i,\cdot) = 1,\sum_{j} p(\cdot, j) = 1因此可自由取值的參數(shù)個數(shù)為(r-1)(c-1)，且取p(i,j) = \frac{N(i,\cdot)}{N}\cdot \frac{N(\cdot,j)}{N}時似然函數(shù)值達(dá)到最大，相應(yīng)地可以計算出AIC_2。
    若AIC_2 <AIC_1則應(yīng)當(dāng)采用有獨立性約束模型。
    相比\chi^2獨立性檢驗，AIC準(zhǔn)則不需要主觀決定顯著性水平的值，因此AIC準(zhǔn)則可以用于統(tǒng)計分析自動化。
  3. 方差分析
    主要考慮方差分析模型中交互效應(yīng)顯著性問題。
    AIC = N\mathrm{ln} (殘差平方和) + 2(自由度)
  4. 因子分析模型
    利用AIC準(zhǔn)則確定公共因子的個數(shù)，使得公共因子既能解釋原始變量較多的信息，又不會因為公共因子過多而造成解釋信息冗余、增加解釋既有因子的復(fù)雜度，同時減少了根據(jù)貢獻(xiàn)率選擇公共因子個數(shù)時的主觀性作用。
    AIC = -2 \mathrm{ln} (l(\theta)) + 2(參數(shù)個數(shù))其中,\mathrm{ln} (l(\theta))= -\frac1 2 N[\mathrm{ln} |\Sigma_k| + tr(\Sigma_k^{-1}S)] S = \frac1 N \sum (y_i - \bar {y})(y_i-\bar{y})' \Sigma_k = A_KA_K' + D_k

參考文獻(xiàn)：
[1] 李子奈.計量經(jīng)濟(jì)學(xué)模型方法論的若干問題[J].經(jīng)濟(jì)動態(tài),2007(10):22-30.
[2] 陳曉峰.AIC準(zhǔn)則及其在計量經(jīng)濟(jì)學(xué)中的應(yīng)用研究[D].天津:天津財經(jīng)大學(xué),2012.
[3] 劉璋溫.赤池信息量準(zhǔn)則 AIC 及其意義[J].數(shù)學(xué)的實踐與認(rèn)識,1980(03):64-72.

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容