最近又再看專業(yè)相關的論文，其中很多都用到了假設檢驗的方法，感覺自己對這方面知識的記憶還不是很深刻，所以都寫下來，以幫助記憶。

1. 假設檢驗問題的來源

這兩天主要看的論文是關于旅行時間估計的。大致想法是用上下游卡口的過車數(shù)據(jù)，篩選出即通過了上游卡口又通過了下游卡口的車輛，計算他們在兩個卡口之間的行程時間，在此基礎上估計相應時段兩個卡口間的總體旅行時間。但在真實數(shù)據(jù)中，會遇到異常值的問題，比如一個路段里可能有多個上下匝道，有些車可能在路段中的某個匝道下道，過一段時間又在路段里的某個匝道上道，再經(jīng)過下游卡口，這樣卡口所記錄的行程時間就不是這輛車直接從上游卡口到下游卡口的時間了，而是會長不少，實際處理過程中就需要把這些異常值去掉。但實際上處理異常值的方法只是借鑒了假設檢驗的思想以及應用了一些結(jié)論，并不是直接的假設檢驗。在這篇文章中我們還是專注于假設檢驗本身的方法論，以上的場景只是作為一個引子。

2.假設檢驗想實現(xiàn)的目的

進一步考慮這樣一個場景，在某一天我從某條路段上抽樣了若干如1中所述的旅行時間樣本，然后我想知道這條路在那個時間段是否是擁堵的，我該怎么做呢？最簡單的辦法當然是，將這些時間和正常的旅行時間進行比較，如果他們大多都遠遠大于正常旅行時間，那顯然是擁堵的。拿所有樣本去進行比較有些繁瑣，因此我們可以使用均值來代表原樣本的特征，再去和正常旅行時間比較，在大多數(shù)樣本都遠遠大于正常旅行時間的情況下，這樣的比較也很容易得到肯定的結(jié)論。

這樣的比較看起來很合理，但其實我回避了一個重要的問題，那就是如何去衡量“遠遠大于”。10分鐘對3分鐘是不是遠遠大于？還是20分鐘對10分鐘是遠遠大于？光憑感覺很難說清楚。這個時候就需要假設檢驗出場了。其核心思想就是說，現(xiàn)在我假設正常的旅行時間應該服從某一分布，然后我看在這樣的分布的條件下，我抽出以上那些樣本的概率有多大。如果這個概率很大，那我基本上可以認為總體是符合正常旅行時間分布的；如果這個概率很小，也就是出現(xiàn)了所謂的小概率事件，那我就認為總體應該不是正常的旅行時間分布。而如果樣本不僅是小概率事件，而且還是大于正常旅行時間的小概率事件，那我就有理由認為這條路在抽樣的那個時間段內(nèi)，是擁堵了。

根據(jù)假設的分布不同，就出現(xiàn)了不同的檢驗方法，以下對集中常用的假設檢驗方法進行了總結(jié)（時間關系，沒有一次性總結(jié)所有的方法，而是不斷補充）

1）z檢驗

z檢驗應該是最基礎的假設檢驗方法，因為它是假設理想分布是正態(tài)分布。中心極限定理告訴我們，當樣本數(shù)量足夠大的時候，任何抽樣的均值都會服從正態(tài)分布（可能還有一些其他條件？）。因此假設理想分布是正態(tài)分布就是最符合直覺的一個辦法。那么這個理想正態(tài)分布的參數(shù)是什么呢？首先它的均值我們應該是知道的，在我們的例子中就應該是正常旅行時間（如果你連這個都不知道，有什么比較的意義呢？），其次還有方差，這個其實是不太容易知道的，就比如你隨便在五道口拉一個人都能夠大概說出從13號線從西直門到五道口的平均時間，但如果讓你說方差，恐怕沒多少人能有把握地說出來。因此對于如何確定這個方差，實際是需要討論的，其實也由此衍生出了不同的檢驗方法。在z檢驗中，我們認為這個方差是已知的。因此現(xiàn)在均值和方差都知道了，也就能構(gòu)造出理想的正態(tài)分布了。

構(gòu)造出理想的正態(tài)分布之后，我們想知道的是在理想分布下，抽到我們現(xiàn)在手里的樣本的概率是多大？如果概率大，我們就認為這些樣本應該是來自于理想分布，如果概率小，顯然就很有理由相信他們不是來自于理想分布。如何判斷這個概率是大還是小呢？人們是這樣設定的：如果樣本均值只有在過大或過小的情況下才不正常，那么就認為樣本均值大到或小到出現(xiàn)概率小于alpha時可以拒絕理想分布。如果樣本均值在過大和過小的情況下均不正常，那么就認為樣本均值大到出現(xiàn)概率小于alpha/2和小到出現(xiàn)概率小于alpha/2時，可以拒絕理想分布。這里的alpha常常被成為顯著性水平，可以理解為“究竟樣本和理想分布的差異有多顯著，才會讓我們認為理想分布是不正確的？”在實際研究中，alpha的取值可以是0.1，0.05等等。而這里面的概率（也就是和alpha進行比較的那個概率），我們稱其為p-value。

對“樣本均值大到或小到出現(xiàn)概率小于alpha時”再進行一些解釋。如果我們觀察的變量是離散的，那么直接可以得到樣本出現(xiàn)的概率，也就可以直接和alpha繼續(xù)比較。如果觀察的變量是連續(xù)的，那實際上抽到任何一個樣本的概率都是0，也就沒有和alpha進行比較的意義了。因此，再變量連續(xù)的情況下，我們一般是把大于或小于樣本均值的概率作為p-value，如果大于或小于這個樣本均值的概率很小，那自然這個樣本均值本身也很異常了，所以也有很大利用拒絕理想分布。

上面是從p-value的角度對z檢驗的思想進行的闡述。換一個角度，其實每一個概率都對應了一個隨機變量的取值，既然我們設定了顯著性水平alpha，可不可以也同時設定一個與alpha對應的隨機變量值呢？當樣本均值大于或小于這個值時，就認為理想分布是不正確的。答案是可以的。但對于不同的正態(tài)分布，與alpha對應的隨機變量值是不同的，如果每假設一個理想分布都要去算一遍這個值，意味著每次都要求解一個帶積分的方程，比較麻煩。因此考慮構(gòu)造一個標準正態(tài)分布，把理想分布下的樣本均值轉(zhuǎn)化為標準正態(tài)分布的某個值（只需仿射變換即可），再與alpha在標準正態(tài)分布下的值（預先算好即可）進行比較，這樣就會比每次都去求解積分方程簡單許多。而由樣本均值轉(zhuǎn)化為來的值，即是z值，預先算好的值，就是標準正態(tài)分布表。這是從p-value以外的另一個角度來理解z檢驗，其實應該也是z檢驗最初的解釋（因為出現(xiàn)了z這個名稱），不過我個人還是覺得從p-value的角度更好理解一些。