引入

嘗試根據(jù)統(tǒng)計量來推斷總體參數(shù), 例如釣魚
如果撒一張網(wǎng)調(diào)到魚的可能性更大, 那么這個網(wǎng)需要多大呢

image.png

那么網(wǎng)越大, 那么抓到魚的信心越大, 因為總體參數(shù)總是不會發(fā)生改變, 所以就好像水中不會動的魚一樣, 但提供一個區(qū)間, 而不僅僅是一個估值, 能夠幫助我們增加獲得總體參數(shù)的信心

image.png

那么區(qū)間越大, 信心就越大.

image.png

From Sampling Distributions to Confidence Intervals

通過抽樣分布和自助抽樣從而計算一個統(tǒng)計量的可能值, 也可以通過這些抽樣分布計算一個參數(shù)的最可能值, 在實踐中一般不知道參數(shù)的值

如何使用抽樣分布推斷總體參數(shù)值

假設(shè)這是某個分布的統(tǒng)計量, 我們可以用這個分布為總體參數(shù)建立一個置信區(qū)間

image.png

如果我們想要95%的置信區(qū)間, 我們可以去掉前后各2.5%,

如果我們想要99%的置信區(qū)間, 可以從兩邊各去掉0.5%

image.png

an example of how to build a confidence interval using the sampling distribution of the statistic

You can interpret your confidence interval as We are 95% confident, the population mean falls between the bounds that you find. Notice that the percent and the parameter can both change depending on what you are building your confidence interval for, and what percentage you cutoff in each tail.

image.png

圖中coffee_red是coffee_full的子集, 是隨機抽取的樣本
coffee_full是總體中的所有個體

提示:
為了了解置信區(qū)間的效果如何, 往往有總體數(shù)據(jù)將會很有好處.

計算樣本喝咖啡的平均值, 以及喝咖啡且身高的均值數(shù)據(jù)

image.png

接下來使用bootstrapping重新抽樣, 并重復(fù)10000次, 再次計算喝咖啡并對身高數(shù)據(jù)的均值可視化

image.png

boot_means是每次抽樣200個樣本的均值, 并重復(fù)10000次的均值列表, 然后對其使用np.percentile(boot_means, 下限其實百分比) 代表置信區(qū)間的起始位置, 因此還需要設(shè)置使用同樣的方法設(shè)置置信區(qū)間的結(jié)束位置, 如圖.

image.png

上面的意思是去掉最初的2.5%和最終的2.5%, 在中間建立了95%的區(qū)間.

image.png

解釋為: 在95%的置信區(qū)間下, 總體中所有喝咖啡的人的平均身高范圍在68.06英尺和68.97英尺之間.

再次回到總體均值, 計算喝咖啡的人的身高的總體均值

image.png

在這個案例中我們的置信區(qū)間所示成功的

Difference In Means

用什么方法估算兩個參數(shù)的差, 并建立置信區(qū)間?
思考
例如喝咖啡和不和咖啡的人之間的平均身高之間的差是多少? 我們有平均身高差之間的證據(jù)嗎?

為了建立這兩組人的平均身高差, 方法和上述求置信區(qū)間的方法類似

image.png

然后, 可以對兩者的求差的過程進行多次迭代, 并將單詞迭代的 差值存儲于列表中. 見下圖

image.png

然后對差值列表求相應(yīng)的置信區(qū)間, 認(rèn)為這兩組人的身高差在這個區(qū)間范圍內(nèi).

image.png

你發(fā)現(xiàn)置信區(qū)間內(nèi)并不包括0, 這表明總體均值是存在差異的.

進一步我們可以說, 平均而言, 喝咖啡的人比不喝咖啡的人高

Confidence Interval Applications

為均值差建立置信區(qū)間的場景有哪些?

1. 對服藥的一組人和不服藥的一組人進行比較, 確定藥物的療效

image.png

2. 對同一主題實施, 兩種不同的教學(xué)方法, 然后確定那種方法可以提升記憶力, 用這種方法比較兩組人,最常見的案例是A/B測試

例如對不同的網(wǎng)頁進行比較, 確定哪個網(wǎng)頁能夠吸引更大的流量

image.png

Statistical vs. Practical Significance

我們已經(jīng)介紹了置信區(qū)間的幾種不同應(yīng)用 ,以及用于創(chuàng)建這些置信區(qū)間的一個自助抽樣法 ,我們發(fā)現(xiàn) 創(chuàng)建兩組均數(shù)差的置信區(qū)間 ,而不是只比較兩個點估計值 這是很重要的 ,能保證 已選樣本的隨機性 ,不是出現(xiàn)這些差的唯一原因 .

置信區(qū)間肯定是有用的 ,但是 如果只利用置信區(qū)間做決策 ,可能會出現(xiàn)問題 ,這就引出了實際顯著性和統(tǒng)計顯著性的概念 .

我們舉一個例子 解釋這兩個術(shù)語的區(qū)別 ,假設(shè)我從事遛狗業(yè)務(wù) 我在網(wǎng)上發(fā)廣告 ,我想知道 這兩個廣告中的哪一個 ,能給我的業(yè)務(wù)帶來更大的利益 ,我將每個廣告發(fā)給相同數(shù)量的 ,隨機選擇用戶 建立置信區(qū)間 ,它表明 更多的人點擊這個廣告 ,根據(jù)我的置信區(qū)間 ,我有統(tǒng)計證據(jù)表明 第二個廣告更好 ,從置信區(qū)間中獲得的這個證據(jù)就是統(tǒng)計意義 .

image.png

假如兩個廣告 ,都帶來了足夠大的利益 超過了我的處理能力 ,但是第二個廣告的制作成本較大 耗時較長 ,如果你的一個朋友決定 ,投放類似廣告 開展他們自己的遛狗業(yè)務(wù) ,你推薦他們選擇哪種廣告？ ,在這個案例中 你可能建議他們選擇第一個廣告 ,即使你在統(tǒng)計學(xué)上證明第二個廣告更好 ,但第一個廣告會對他們的業(yè)務(wù)帶來足夠的利益 ,成本較低 耗時較少 ,你建議他們采用第一個廣告 就是實際意義的一個例子 .

實際意義會考慮 ,其它方面和我們周圍的世界 ,而不是只考慮數(shù)字 ,這對做決策來說是非常重要的

使用置信區(qū)間和假設(shè)檢驗，您可以在做出決策時提供統(tǒng)計學(xué)意義。

但是，在決策時考慮實際意義也很重要。實際意義考慮了您的情況的其他因素，這些因素可能不會直接在您的假設(shè)檢驗或置信區(qū)間的結(jié)果中考慮。在商業(yè)決策中，空間，時間或金錢等限制很重要。但是，它們可能不會直接在統(tǒng)計檢驗中考慮。

傳統(tǒng)的置信區(qū)間

我們目前建立置信區(qū)間的方法 ,基于自助法和我們的抽樣分布相關(guān)知識 ,這是一種極其有效的方法 ,能對我們感興趣的幾乎任何參數(shù)建立置信區(qū)間

但是 如果你在其他地方學(xué)習(xí)過統(tǒng)計課程 ,你可能會疑惑為什么 ,這種注釋法與你在其它課程中學(xué)過的不一樣 ,你可能見過這種計算總體均值或比例的方程

image.png

同樣 你可能還見過這種 ,計算均數(shù)差或比例差的方程

image.png

所有這些公式都有可能為真或者可能為假的基本假設(shè), 如果你真的認(rèn)為你的數(shù)據(jù)能代表你研究的總體 ,自助法應(yīng)該能更好地表示參數(shù)的可能位置 ,但是 在足夠大的樣本量下 ,這些公式的結(jié)果應(yīng)該 ,與我們在自助法中看到的結(jié)果非常相似

傳統(tǒng)的置信區(qū)間方法

在 Python 中建立置信區(qū)間的傳統(tǒng)方法 ,和這一節(jié)課中采用自助抽樣的方法進行快速比較

假設(shè)檢驗和建立置信區(qū)間的方法有很多 ,例如

• 用于總體均值的 ,單樣本 T 檢驗
• 用于比較兩個均值的 ,雙樣本 T 檢驗
• 還有一種常用于將個體與自己比較的配對 T 檢驗 ,以及 Z 檢驗、卡方檢驗和 F 檢驗

許多假設(shè)檢驗 ,與創(chuàng)建置信區(qū)間的方法相關(guān)聯(lián) ,自助抽樣法可以代替這些方法中的任何一個

舉例說明
bootstrapping法

image.png

傳統(tǒng)t檢驗法

image.png

對于大樣本，這些最終看起來非常相似。對于較小的樣本量，使用傳統(tǒng)方法可能會假設(shè)您的區(qū)間不正確。小樣本大小對于自舉方法來說并不理想，因為它們可能導(dǎo)致誤導(dǎo)結(jié)果，原因很簡單，因為沒有準(zhǔn)確地代表整個人口。

與置信區(qū)間相關(guān)的其他語言

以下是我們看到政治選舉結(jié)果的一種常見方法 ,
候選人 A 的得票率是 34%+/-3%
候選人 B 的得票率是 22%+/-3%

image.png

你可能會看到 ,用小號字體印刷的內(nèi)容 例如 ,“這些數(shù)字基于 95% 的置信區(qū)間 ” ,在這個樣本中 每位候選人的得票率分別是 34% 和 22% ,這個 3% 稱為誤差范圍(margin of error)

image.png

為了建立置信區(qū)間 ,我們實際上會加減這個量

所以 候選人 A 在總體中的真實比例的 ,置信區(qū)間是 31% 至 37% ,
候選人 B 是 19% 至 25% ,

image.png

如果每位候選人的置信區(qū)間大于我們的預(yù)期 ,我們可以收集更大的樣本量 ,根據(jù)大數(shù)定律 ,我們知道 樣本量越大 ,估值越接近參數(shù) 因此 ,會縮小區(qū)間

image.png

Assuming you control all other items of your analysis:

• Increasing your sample size will decrease the width of your confidence interval.

• Increasing your confidence level (say 95% to 99%) will increase the width of your confidence interval.
  You saw that you can compute:

• The confidence interval width as the difference between your upper and lower bounds of your confidence interval.
  The margin of error is half the confidence interval width, and the value that you add and subtract from your sample estimate to achieve your confidence interval final results.

Confidence Intervals (& Hypothesis Testing) vs. Machine Learning

你已經(jīng)針對如何在實踐中 ,建立、解釋和使用置信區(qū)間進行了大量學(xué)習(xí), 我們可以用置信區(qū)間做出哪些類型的結(jié)論 以及不能用它做出哪些類型的結(jié)論 ,兩者是很容易混淆的

我們建立置信區(qū)間時 ,它們針對的是參數(shù) ,即 它們針對的是總體中的單個值 ,這些值包括總體均值 ,或者總體標(biāo)準(zhǔn)偏差 ,兩個總體均值的差 ,或者總體中的任何其它值摘要

image.png

注意: 置信區(qū)間不允許我們 ,對總體中的任何個體有任何特定表示

image.png

機器學(xué)習(xí)中的更高級技術(shù)的目的在于 ,給我們提供總體中每個個體的信息

image.png

但是一般來說 置信區(qū)間的目的不是解決這些類型的問題 ,置信區(qū)間的目的一般是 ,給你提供總體中的聚合值

Confidence intervals take an aggregate approach towards the conclusions made based on data, as these tests are aimed at understanding population parameters (which are aggregate population values).

Alternatively, machine learning techniques take an individual approach towards making conclusions, as they attempt to predict an outcome for each specific data point.

In the final lessons of this class, you will learn about two of the most fundamental machine learning approaches used in practice: linear and logistic regression.

image.png

image.png

置信區(qū)間和假設(shè)檢驗