?在前面的最小二乘法講解中 （回歸分析中的問(wèn)題和修正的探討（下篇），最小二乘法的6個(gè)假設(shè) (中篇)）， 有遇到廣義最小二乘法GLS 、2階段最小二乘法2SLS、和工具變量IV。這里探討一下， 這三個(gè)方法在某些情況下的等價(jià)性。
引言
數(shù)學(xué)背景好的GLS
Alexander Aitken是新西蘭偉大的數(shù)學(xué)家， 在1935年， 他是愛(ài)丁堡大學(xué)University of Edinburgh的博士，當(dāng)時(shí)就研究數(shù)據(jù)的平滑 Smoothing of Data，??之后搞精算數(shù)學(xué)和統(tǒng)計(jì)。廣義最小二乘法GLS就是他發(fā)明的。
經(jīng)濟(jì)+統(tǒng)計(jì)的IV
Philip Green Wright在1928年就闡述了基本思想，用在回歸方法論上， 但是知道1945年才被Olav Reiers?l， 一個(gè)挪威的經(jīng)濟(jì)學(xué)家，在他的博士畢業(yè)論文中，正式用來(lái)定位為處理變量誤差的經(jīng)典方法。
Wright畢業(yè)于Tufts College的本科， 哈佛的經(jīng)濟(jì)學(xué)博士，后來(lái)又回到Tufts當(dāng)社會(huì)經(jīng)濟(jì)學(xué)教授。?Tufts特意收集了他的照片墻， 來(lái)紀(jì)念他發(fā)明了工具變量。
經(jīng)濟(jì)基因的2SLS
2階段和3階段最小二乘法 2SLS/3SLS都是經(jīng)濟(jì)學(xué)家Henri?Theil發(fā)明的（1953年和1962年）。Theil是荷蘭烏特勒支大學(xué)Utrecht University發(fā)物理出身的， 戰(zhàn)后1951年在阿姆斯特丹大學(xué)University of Amsterdam轉(zhuǎn)學(xué)經(jīng)濟(jì)。 年輕的時(shí)候超級(jí)帥。
他有句名言，就是模型是被用的，而不是被信的。
所以， 按發(fā)明時(shí)間來(lái)說(shuō)，IV最早被發(fā)明(1928年)， GLS其次(1935)，而2SLS是最晚的(1953)。可能跟線性代數(shù)的發(fā)展歷史有一定關(guān)系， 是因?yàn)镮V建立在相關(guān)性基礎(chǔ)上， 但是GLS需要方差矩陣表示的發(fā)展， 而2SLS需要線性方程組的發(fā)展基礎(chǔ)。 所以說(shuō)線性代數(shù)在經(jīng)濟(jì)和統(tǒng)計(jì)的學(xué)習(xí)中也很為重要。
IV 形式
一般情況下工具變量的要求就是和誤差不相關(guān)：
還可以進(jìn)一步寬松到(Z^T)X偽逆的情況下：
2SLS 形式
第一階段：
第二階段， 先在X估計(jì)上按OLS計(jì)算 ：
根據(jù)第一階段的結(jié)果， 帶入X的估計(jì)值：
化簡(jiǎn)，得到不含X估計(jì)值的表達(dá)式：
流程總結(jié)如下：
IV 等價(jià)為 2SLS
先看一下， 推導(dǎo)過(guò)程中的變化， 從IV到2SLS：
其中這里面出現(xiàn)的Pz是投影矩陣，具有如下性質(zhì)：
是不是有點(diǎn)像單位矩陣的性質(zhì)？對(duì)的，這就是投影矩陣。
從圖形上理解， 由于E(XU) = 0 不成立， 所以需要投影到垂直的方向上去， 一種方法是直接找一個(gè)工具變量去做，好比找到一個(gè)垂直的面，然后隨便確定垂直面上一個(gè)， 而另外一種方法，就是先找到一個(gè)投影矩陣先， 然后再投影得到這個(gè)變量。
那么這兩種方法有什么本質(zhì)的差別么？
有的，工具變量方法(Z^T) X 并不是方陣的時(shí)候，也就是兩者Rank可能并不一致的時(shí)候， 那么這時(shí)候兩階段2SLS依然可以使用， 存在一個(gè)尋優(yōu)的過(guò)程。
如果一致的情況下， 那么IV和2SLS沒(méi)有本質(zhì)的區(qū)別。 ? 其實(shí)，這也可以看成是矩估計(jì)MME和廣義矩估計(jì)GMM的差異。 如果這么來(lái)說(shuō)的話， 那么2SLS可以看成是IV的一種泛化。
2SLS等價(jià)為GLS
從形式上， 2階段最小二乘法很容易看成是廣義最小二乘法。 但是， 這是有要求的，但是含義卻完全不一樣了。
不過(guò)，對(duì)于自相關(guān)的情況下，
變換到如下形式后， 計(jì)算2SLS還是可以的。
這種情況下， 兩者是等價(jià)的， 只是最后在2SLS里面投影完成后的效果， 和GLS里面標(biāo)準(zhǔn)化之后的效果是一致的。
但是兩邊的X的內(nèi)容已經(jīng)完全不一樣了， 在2SLS里面是變換過(guò)后的X了。
小結(jié)：
所以， 一般情況下，盡管2SLS 和 GLS 形式上非常類似， 但是其實(shí)解決的問(wèn)題還是蠻不一樣的，2SLS和IV形式上有差距， 但是解決問(wèn)題還是蠻一致的。 ?另外也凸顯了2SLS強(qiáng)大的能力。
我們通過(guò)引入IV、GLS、2SLS的等價(jià)性變換的討論， 讓大家更深入了解這些工具的特征。
關(guān)鍵詞：
Instrumental Variable
Generalized Least Square
2 Stage Least Square
Alexander Aitken
Philip Green Wright
Henri?Theil
相關(guān)話題：
評(píng)價(jià)參數(shù)估算的常用指標(biāo)
Z-Test vs T-Test vs F-Test vs χ2-Test
參考：
https://ase.tufts.edu/economics/news/highlightsWright.htm
http://ajbuckeconbikesail.net/notes/sysestimat/sysestimat.HTM
