眼見不一定為實(shí)!
我想很多人一定都深有體會(huì),但是如何從統(tǒng)計(jì)上規(guī)避這種風(fēng)險(xiǎn)是有學(xué)問的,我們今天就來說說如何證明眼前的是對(duì)的。
我們今天說的事情在統(tǒng)計(jì)學(xué)上叫:“顯著性差異”。眼見即為:原假設(shè),是否為實(shí)即為備擇假設(shè)。
那么什么是顯著性檢驗(yàn)?它與統(tǒng)計(jì)假設(shè)檢驗(yàn)有什么關(guān)系?為什么要做顯著性檢驗(yàn)?
下面讓我們一一進(jìn)行解釋:
“顯著性檢驗(yàn)”實(shí)際上是英文significance test的漢語(yǔ)譯名。在統(tǒng)計(jì)學(xué)中,顯著性檢驗(yàn)是“統(tǒng)計(jì)假設(shè)檢驗(yàn)”(Statistical hypothesis testing)的一種,顯著性檢驗(yàn)是用于檢測(cè)科學(xué)實(shí)驗(yàn)中實(shí)驗(yàn)組與對(duì)照組之間是否有差異以及差異是否顯著的辦法。實(shí)際上,了解顯著性檢驗(yàn)的“宗門背景”(統(tǒng)計(jì)假設(shè)檢驗(yàn))更有助于一個(gè)科研新手理解顯著性檢驗(yàn)?!敖y(tǒng)計(jì)假設(shè)檢驗(yàn)”這一正名實(shí)際上指出了“顯著性檢驗(yàn)”的前提條件是“統(tǒng)計(jì)假設(shè)”,換言之“無(wú)假設(shè),不檢驗(yàn)”。任何人在使用顯著性檢驗(yàn)之前必須在心里明白自己的科研假設(shè)是什么,否則顯著性檢驗(yàn)就是“水中月,鏡中花”,可望而不可即。用更通俗的話來說就是要先對(duì)科研數(shù)據(jù)做一個(gè)假設(shè),然后用檢驗(yàn)來檢查假設(shè)對(duì)不對(duì)。一般而言,把要檢驗(yàn)的假設(shè)稱之為原假設(shè),記為H0;把與H0相對(duì)應(yīng)(相反)的假設(shè)稱之為備擇假設(shè),記為H1。
如果原假設(shè)為真,而檢驗(yàn)的結(jié)論卻勸你放棄原假設(shè)。此時(shí),我們把這種錯(cuò)誤稱之為第一類錯(cuò)誤。通常把第一類錯(cuò)誤出現(xiàn)的概率記為α
如果原假設(shè)不真,而檢驗(yàn)的結(jié)論卻勸你不放棄原假設(shè)。此時(shí),我們把這種錯(cuò)誤稱之為第二類錯(cuò)誤。通常把第二類錯(cuò)誤出現(xiàn)的概率記為β
通常只限定犯第一類錯(cuò)誤的最大概率α, 不考慮犯第二類錯(cuò)誤的概率β。我們把這樣的假設(shè)檢驗(yàn)稱為顯著性檢驗(yàn),概率α稱為顯著性水平。顯著性水平是數(shù)學(xué)界約定俗成的,一般有α =0.05,0.025.0.01這三種情況。代表著顯著性檢驗(yàn)的結(jié)論錯(cuò)誤率必須低于5%或2.5%或1%(統(tǒng)計(jì)學(xué)中,通常把在現(xiàn)實(shí)世界中發(fā)生幾率小于5%的事件稱之為“不可能事件”)。(以上這一段話實(shí)際上講授了顯著性檢驗(yàn)與統(tǒng)計(jì)假設(shè)檢驗(yàn)的關(guān)系)
為了方便接下來的講授,這里舉一個(gè)例子。趙先生開了一家日用百貨公司,該公司分別在鄭州和杭州開設(shè)了分公司?,F(xiàn)在存在下列數(shù)據(jù)作為兩個(gè)分公司的銷售額,集合中的每一個(gè)數(shù)代表著一年中某一個(gè)月的公司銷售額。
鄭州分公司Z?= {23,25,26,27,23,24,22,23,25,29,30}
杭州分公司H = {24,25,23,26,27,25,25,28,30,31,29}
現(xiàn)在,趙先生想要知道兩個(gè)公司的銷售額是否有存在明顯的差異(是否存在鄭州分公司銷售額>杭州分公司銷售額,抑或反之),以便對(duì)接下來公司的戰(zhàn)略業(yè)務(wù)調(diào)整做出規(guī)劃。下屬們知道趙老板的難處,紛紛建議“只需要求平均值就知道哪個(gè)分公司的銷售額更大了”。但是作為擁有高學(xué)歷的趙先生懂得這樣一件哲學(xué)即“我們生活在概率的世界之中”。那也就意味著,平均值并不能夠說明什么問題,即便杭州分公司的銷售額平均值大于鄭州分公司的銷售額平均值仍然不能說明杭州分公司的銷售額一定就大于鄭州分公司的銷售額,因?yàn)椤斑@樣一種看似存在的大于關(guān)系實(shí)質(zhì)上是偶然造成的而并不是一種必然”。
趙先生最終決定,使用方差驗(yàn)檢查這兩個(gè)數(shù)據(jù)。(請(qǐng)先忽略為什么用方差檢驗(yàn),檢驗(yàn)方法的選擇下文中會(huì)詳述)
最后趙先生發(fā)現(xiàn),方差檢驗(yàn)的p 值= 0.2027,那也就意味著,雖然杭州分公司的年平均銷售額26.63大于鄭州分公司的銷售額25.18,但是實(shí)質(zhì)上,兩個(gè)分公司的銷售額并沒有明顯的差異。
1.什么是統(tǒng)計(jì)假設(shè)檢驗(yàn)?
所謂統(tǒng)計(jì)假設(shè)檢驗(yàn)就是事先對(duì)總體(隨機(jī)變量)的參數(shù)或總體分布形式做出一個(gè)假設(shè),然后利用樣本信息來判斷這個(gè)假設(shè)是否合理。而把只限定第一類錯(cuò)誤概率的統(tǒng)計(jì)假設(shè)檢驗(yàn)就稱之為顯著性檢驗(yàn)。在上例中,我們的假設(shè)就是一種顯著性檢驗(yàn)。因?yàn)榉讲顧z驗(yàn)不適用于估計(jì)參數(shù)和估計(jì)總體分布,而是用于檢驗(yàn)試驗(yàn)的兩個(gè)組間是否有差異。而方差檢驗(yàn)正是用于檢測(cè)我們所關(guān)心的是這兩個(gè)集合(兩個(gè)分布)的均值是否存在差異。
2.為什么要做顯著性檢驗(yàn)?
因?yàn)槲覀兿胍袛鄻颖九c我們對(duì)總體所做的假設(shè)之間的差異是純屬機(jī)會(huì)變異,還是由我們所做的假設(shè)與總體真實(shí)情況之間不一致所引起的。 在我們的例子中,差異就是H的均值要高于Z的均值,但是最終的結(jié)論p>0.05證明,這個(gè)差異純屬機(jī)會(huì)變異(H均值>Z均值是偶然的,當(dāng)H和Z的采樣點(diǎn)數(shù)趨于無(wú)窮多時(shí),H的均值會(huì)趨近等于Z的均值)而不是假設(shè)與真實(shí)情況不一致。如果p值<0.05,那么也就意味著我們的假設(shè)(H集合和Z集合沒差別)與真實(shí)情況不一致,這就使得假設(shè)不成立,即H集合和Z集合有差別。
那么如何做顯著性差異分析呢?
利用excel2007為例,為大家講解如何利用excel來進(jìn)行數(shù)據(jù)差異顯著性分析。
數(shù)據(jù)分析,以比較男女兩組身高差異為例。
首先打開excel,輸入好我們的數(shù)據(jù),記住數(shù)據(jù)要橫排輸入,看圖,點(diǎn)擊頂欄的“數(shù)據(jù)”選項(xiàng)卡,觀察左上角是否有“數(shù)據(jù)分析“這個(gè)功能模塊(看下圖),如果沒有,請(qǐng)按照下面方法先進(jìn)行添加。
首先,單擊左上角的office圖表,點(diǎn)擊”excel選項(xiàng) ?”,在彈框中,選擇“ ?加載項(xiàng) ?”,在下方的“ ?管理 ?”選項(xiàng)中,選擇”excel加載項(xiàng)“,點(diǎn)擊" 轉(zhuǎn)到 ",在彈出的”加載宏“,界面里,勾選”分析工具庫(kù)“,點(diǎn)擊確定即可。步驟較多,大家看圖操作。
這時(shí)候,我們?cè)谟疑辖蔷涂梢钥吹健睌?shù)據(jù)分析“選項(xiàng)卡了。
接下來,點(diǎn)擊”數(shù)據(jù)分析“選項(xiàng)卡,在方差分析里面選擇”無(wú)重復(fù)雙因素分析“
在”輸入?yún)^(qū)域“將我們的數(shù)據(jù)包括分組名稱全部選進(jìn)去,在”輸出區(qū)域“,點(diǎn)擊文中空白位置即可。點(diǎn)擊確定。
彈框就是我們要的結(jié)果的分析。對(duì)于專業(yè)的同學(xué)這張表看起來很輕松。對(duì)于沒有進(jìn)行過數(shù)據(jù)分析學(xué)習(xí)的同學(xué)來說可能就是一頭霧水了。下面簡(jiǎn)單給大家講一下如何進(jìn)行結(jié)果分析。
對(duì)于結(jié)果中我們需要注意的其實(shí)就只有三個(gè)部分,(圖中已經(jīng)表示出了)
F ? ,P-value, ? F crit
如果F 大于 ?F crit,那么恭喜你,已經(jīng)比對(duì)出了差異,在結(jié)合P-value,
若P-value大于0.01,小于0.05,表示差異顯著;若P-value小于0.01,則表示差異極顯著。
如果F 小于 ? F crit,那么P-value肯定高于0.05,則表示兩組數(shù)據(jù)無(wú)差異。