其實(shí)，統(tǒng)計(jì)學(xué)的很新內(nèi)容是很簡(jiǎn)潔明了的，也就是基于分布的小概率邏輯推斷而已。

核心就是基于分布的小概率邏輯推薦

我們都有這樣的經(jīng)歷，當(dāng)你習(xí)慣了每天某一時(shí)刻會(huì)發(fā)生某件事時(shí)(如日出日落)，突然有一天此事不再發(fā)生，你必然會(huì)覺(jué)得很奇怪，會(huì)推測(cè)是不是因?yàn)槭裁丛驅(qū)е铝舜耸略诮裉鞗](méi)有發(fā)生。

其實(shí)，將此種現(xiàn)象在數(shù)學(xué)(統(tǒng)計(jì)學(xué))中提煉出來(lái)就是小概率事件(Small Probability Event)。為了量化這樣的概念，統(tǒng)計(jì)學(xué)中做了嚴(yán)謹(jǐn)?shù)睦碚摌?gòu)建，也就是概率論等的價(jià)值所在。

為此，統(tǒng)計(jì)學(xué)理論的基本任務(wù)就是：

• 某一事件發(fā)生的分布(Distribution)。
  • 所謂的分布，簡(jiǎn)單地講就是事件發(fā)生的頻率。如果事件有多種取值，每一值也就有對(duì)應(yīng)的頻率。這也是早期概率的定義。常見(jiàn)的有四種分布 - 也就是后面正態(tài)，學(xué)生，卡方和費(fèi)舍爾
  • 這里有個(gè)問(wèn)題，那就是如何獲得分布。除了一些理論可以推定的，很多現(xiàn)實(shí)中的問(wèn)題都是通過(guò)樣本來(lái)推定總體的分布的。那么，這種推定是否正確？這就是學(xué)者要證明的 - 很多時(shí)候就需要數(shù)學(xué)家了。概率論便是這類學(xué)者要用到的工具。
• 基于小概率事件(SPE)進(jìn)行推斷
  • 有了前面的分布，在指定事件取值的主要區(qū)間(按照設(shè)定的規(guī)則，可以建立取值區(qū)間與可能程度 - 也就是概率 - 的對(duì)應(yīng)關(guān)系，即給定98%的可能程度，就有對(duì)應(yīng)的取值范疇)，那么，剩下的取值范疇就是所謂的小概率事件的范疇，每一個(gè)被小概率事件的范疇覆蓋的取值就是小概率事件了。
  • 所謂小概率事件的意義就在于，按照事件取值的可能程度，小概率事件發(fā)生的可能性是很低的。如果有一次抽查就遇到了小概率事件，也就是"不應(yīng)該發(fā)生的發(fā)生了"，這就意味著有兩種推斷：
    1. 原來(lái)的分布是有問(wèn)題的
    2. 此次事件是有特殊的原因?qū)е碌?/li>

常見(jiàn)統(tǒng)計(jì)學(xué)書籍的章節(jié)雖然很多，其實(shí)都是可以從上面衍生出來(lái)的。

基本的四個(gè)分布 - 正態(tài)，學(xué)生，卡方和費(fèi)舍爾

以正態(tài)分布為例

下圖即為標(biāo)準(zhǔn)正態(tài)分布(Standard Normal Distribution)的示意。橫坐標(biāo)上就是隨機(jī)變量(與事件是綁定的)的取值；那個(gè)鐘型曲線覆蓋下的面積就是對(duì)應(yīng)于相應(yīng)取值范疇的可能程度(概率)。例如，變量取值在[0, 0.5]時(shí)，概率是19.1%。

image

對(duì)于像正態(tài)分布這類的對(duì)稱形狀，如果指定以0點(diǎn)所在的位置對(duì)稱向左右等距擴(kuò)展作為規(guī)則，得到的區(qū)間和概率是一一對(duì)應(yīng)的。如，[-1,1]對(duì)應(yīng)的概率就是2*(15+19.1) = 30+38.2 = 68.2%。此時(shí)，-1和1就是概率68.2%所對(duì)應(yīng)的的關(guān)鍵值(Critical Value)。

而按照慣例，我們通常會(huì)指定比較大的概率(常用的多是大于或等于95% - 如95%， 96%， 98%等)作為事件可能取值的極大可能程度，在統(tǒng)計(jì)學(xué)中稱為置信度(Confidence Level)。如下圖所示：95.4%是很大的概率了，對(duì)應(yīng)的關(guān)鍵值是-2和2，[-2,2]也就是統(tǒng)計(jì)學(xué)書籍中對(duì)應(yīng)95.4%置信度的置信區(qū)間(Confidence Interval)。

image

對(duì)應(yīng)的，排除在置信區(qū)間之外的可能取值范疇就是我們所感興趣的小概率事件區(qū)間(SPE Interval)。如下圖示。如果再一次抽樣中得到的統(tǒng)計(jì)變量的值落入此小概率事件區(qū)間中，那么，按照核心就是基于分布的小概率邏輯推薦中的敘述，我們就有理由做兩種推斷了。

image

剩下的就是如何計(jì)算給定置信度下的置信區(qū)間。這也是統(tǒng)計(jì)學(xué)書籍的主要內(nèi)容。感謝前人的艱苦付出，他們完成了很多分布的計(jì)算表格，如果你遇到計(jì)算給定置信度下的置信區(qū)間的問(wèn)題，去查表即可。

說(shuō)起來(lái)，統(tǒng)計(jì)學(xué)的基本內(nèi)容也就是圍繞著兩個(gè)計(jì)算問(wèn)題展開的：

1. 如何基于樣本計(jì)算分布的參數(shù)
2. 計(jì)算給定置信度下的置信區(qū)間

正態(tài)分布下求解雙尾置信區(qū)間的例子

下面給出一個(gè)求解置信度95%的雙尾(2 Tails，也就是要求對(duì)稱的置信區(qū)間。與之對(duì)應(yīng)的是單尾，即對(duì)應(yīng)置信度95%的單尾置信區(qū)間是從-∞到關(guān)鍵值)置信區(qū)間的例子。想要完成計(jì)算，就必須了解如何使用計(jì)算表(Table of Normal Distribution)。

image

想要準(zhǔn)確使用計(jì)算表，就要注意與表格對(duì)應(yīng)的示意圖(Indicator)。上面圖中左側(cè)就是對(duì)應(yīng)的示意圖，表示對(duì)應(yīng)[0,0.45]的概率是0.1736，即計(jì)算表格中深藍(lán)色箭頭所示意的。

如果想要求解置信度95%的雙尾置信區(qū)間，也就是要求找到某個(gè)x值，[-x,x]區(qū)間上的概率恰好就是95%。想要使用上面的計(jì)算表格完成x的查找，就要做一點(diǎn)小小的轉(zhuǎn)換。

因?yàn)檎龖B(tài)分布是對(duì)稱的，那么，[-x,x]區(qū)間上的高綠要保證是95%，也就意味著[0,x]區(qū)間上的概率必須是95%的二分之一，即47.5%=0.4750。查表得到x=1.96。即置信區(qū)間是[-1.96,1.96]。

注意：此處的示例是對(duì)應(yīng)標(biāo)準(zhǔn)正態(tài)分布的計(jì)算。不過(guò)，實(shí)際正態(tài)分布變量的置信區(qū)間計(jì)算也很簡(jiǎn)單，就是借助正態(tài)分布到標(biāo)準(zhǔn)正態(tài)分布的轉(zhuǎn)換公即可，也就是上圖中左側(cè)示意圖下面所標(biāo)識(shí)的公式，其中z對(duì)應(yīng)標(biāo)準(zhǔn)正態(tài)分布變量，x是實(shí)際的變量(當(dāng)然要要確保x是正態(tài)分布)，μ和σ是正態(tài)分布的兩個(gè)參數(shù) - 均值和標(biāo)準(zhǔn)方差。

Example: Your business – Quality Control：

Your company is majoring to produce some products, whose size is firmly required: μ=21 mm, and the variance should be smaller than σ≤0.1 5 mm.
Today, you pick 9 products from that collection, and measure the average length of those 9 products is 21.4 mm.
Are you confident (95%-2 tail) with the quality of your products?

Solution：

image

其他分布

前面提到，統(tǒng)計(jì)學(xué)的基本內(nèi)容是依賴于分布的，一般教科書中提到的主要就是四種分布 - 前面的正態(tài)分布，學(xué)生分布，卡方分布，以及費(fèi)舍爾分布。

如下圖所示，針對(duì)不同的統(tǒng)計(jì)變量，就會(huì)有已經(jīng)證明了的統(tǒng)計(jì)分布與之相對(duì)應(yīng)；而剩下的計(jì)算也仍然是前面介紹的套路：或者估計(jì)相應(yīng)分部的參數(shù)；或者計(jì)算給定置信度的置信區(qū)間，然后進(jìn)行推斷。

image

其中比較有趣的是所謂的ANOVA - ANalysis Of VAriance (方差估計(jì))。雖然名字里有方差一次，實(shí)際的應(yīng)用跟方差沒(méi)啥關(guān)系。有興趣的請(qǐng)自行檢索。

統(tǒng)計(jì)學(xué)章節(jié)概覽

在有了前面的儲(chǔ)備后，看看常見(jiàn)的統(tǒng)計(jì)學(xué)的書籍，也就沒(méi)那么障礙了。

[概率論與數(shù)理統(tǒng)計(jì)]https://book.douban.com/subject/2201479/
作者: 陳希孺
出版社: 中國(guó)科學(xué)技術(shù)大學(xué)出版社
出版年: 2009-2
頁(yè)數(shù): 385
定價(jià): 38.00元
叢書: 陳希孺文集
ISBN: 9787312018381

多元統(tǒng)計(jì)分析章節(jié)概覽

[應(yīng)用多元統(tǒng)計(jì)分析]https://book.douban.com/subject/1239695/
作者: 高惠璇
出版社: 北京大學(xué)出版社
出版年: 2005-1
頁(yè)數(shù): 419
定價(jià): 28.00元
裝幀: 簡(jiǎn)裝本
叢書: 北京大學(xué)數(shù)學(xué)教學(xué)系列叢書
ISBN: 9787301078587

個(gè)人覺(jué)得，多元統(tǒng)計(jì)分析，很多內(nèi)容已經(jīng)跟后來(lái)的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)相重合了。已經(jīng)不是嚴(yán)重依賴分布的統(tǒng)計(jì)學(xué)傳統(tǒng)套路了。不過(guò)，這類方法也仍然稱之為統(tǒng)計(jì)學(xué)習(xí)(Statistical Learning)

[統(tǒng)計(jì)學(xué)習(xí)方法(第2版)] https://book.douban.com/subject/33437381/

統(tǒng)計(jì)學(xué)習(xí)方法

[統(tǒng)計(jì)學(xué)習(xí)方法(第2版)] https://book.douban.com/subject/33437381/
作者: 李航
出版社: 清華大學(xué)出版社
出版年: 2019-5-1
頁(yè)數(shù): 464
定價(jià): 98.00元
裝幀: 平裝
ISBN: 9787302517276

目錄
第一篇 監(jiān)督學(xué)習(xí)

第二篇 無(wú)監(jiān)督學(xué)習(xí)
第13章 無(wú)監(jiān)督學(xué)習(xí)概論
13.1.1 無(wú)監(jiān)督學(xué)習(xí)基本原理
13.1.2 基本問(wèn)題
13.1.3 機(jī)器學(xué)習(xí)三要素
13.1.4 無(wú)監(jiān)督學(xué)習(xí)方法

第14章 聚類方法
14.1 聚類的基本概念
14.1.1 相似度或距離
14.1.2 類或簇
14.1.3 類與類之間的距離
14.2 層次聚類
14.3 k均值聚類
14.3.1 模型
14.3.2 策略
14.3.3 算法
14.3.4 算法特點(diǎn)
本章概要

第15章 奇異值分解
15.1 奇異值分解的定義與性質(zhì)
15.1.1 定義與定理
15.1.2 緊奇異值分解與截?cái)嗥娈愔捣纸?br> 15.1.3 幾何解釋
15.1.4 主要性質(zhì)
15.2 奇異值分解的計(jì)算
15.3 奇異值分解與矩陣近似
15.3.1 弗羅貝尼烏斯范數(shù)
15.3.2 矩陣的優(yōu)近似
15.3.3 矩陣的外積展開式
本章概要

第16章 主成分分析
16.1 總體主成分分析
16.1.1 基本想法
16.1.2 定義和導(dǎo)出
16.1.3 主要性質(zhì)
16.1.4 主成分的個(gè)數(shù)
16.1.5 規(guī)范化變量的總體主成分
16.2 樣本主成分分析
16.2.1 樣本主成分的定義和性質(zhì)
16.2.2 相關(guān)矩陣的特征值分解算法
16.2.3 數(shù)據(jù)局正的奇異值分解算法
本章概要
繼續(xù)閱讀
習(xí)題
參考文獻(xiàn)

第17章 潛在語(yǔ)義分析
17.1 單詞向量空間與話題向量空間
17.1.1 單詞向量空間
17.1.2 話題向量空間
17.2 潛在語(yǔ)義分析算法
17.2.1 矩陣奇異值分解算法
17.2.2 例子
17.3 非負(fù)矩陣分解算法
17.3.1 非負(fù)矩陣分解
17.3.2 潛在語(yǔ)義分析模型
17.3.3 非負(fù)矩陣分解的形式化
17.3.4 算法
本章概要

第18章 概率潛在語(yǔ)義分析
18.1 概率潛在語(yǔ)義分析模型
18.1.1 基本想法
18.1.2 生成模型
18.1.3 共現(xiàn)模型
18.1.4 模型性質(zhì)
18.2 概率潛在語(yǔ)義分析的算法
本章概要

第19章 馬爾可夫鏈蒙特卡羅法
19.1 蒙特卡羅法
19.1.1 隨機(jī)抽樣
19.1.2 數(shù)學(xué)期望估計(jì)
19.1.3 積分計(jì)算
19.2 馬爾可夫鏈
19.2.1 基本定義
19.2.2 離散狀態(tài)馬爾可夫鏈
19.2.3 連續(xù)狀態(tài)馬爾可夫鏈
19.2.4 馬爾可夫鏈的性質(zhì)
19.3 馬爾可夫鏈蒙特卡羅法
19.3.1 基本想法
19.3.2 基本步驟
19.3.3 馬爾可夫鏈蒙特卡羅法與統(tǒng)計(jì)學(xué)習(xí)
19.4 Metropolis-Hastings算法
19.4.1 基本原理
19.4.2 Metropolis-Hastings算法
19.4.3 單分量Metropolis-Hastings算法
19.5 吉布斯抽樣
19.5.1 基本原理
19.5.2 吉布斯抽樣算法
19.5.3 抽樣計(jì)算
本章概要

第20章 潛在狄利克雷分配
20.1 狄利克雷分布
20.1.1 分布定義
20.1.2 共軛先驗(yàn)
20.2 潛在狄利克雷分配模型
20.2.1 基本想法
20.2.2 模型定義
20.2.3 概率圖模型
20.2.4 隨機(jī)變量序列的可交換性
20.2.5 概率公式
20.3 LDA的吉布斯抽樣算法
20.3.1 基本想法
20.3.2 算法的主要部分
20.3.3 算法的后處理
20.3.4 算法
20.4 LDA的變分EM算法
20.4.1 變分推理
20.4.2 變分EM算法
20.4.3 算法推導(dǎo)
20.4.4 算法總結(jié)
本章概要

第21章 PageRank算法
21.1 PageRank的定義
21.1.1 基本想法
21.1.2 有向圖和隨機(jī)游走模型
21.1.3 PageRank的基本定義
21.1.4 PageRank的一般定義
21.2 PageRank的計(jì)算
21.2.1 迭代算法
21.2.2 冪法
21.3.3 代數(shù)算法
本章概要

第22章 無(wú)監(jiān)督學(xué)習(xí)方法總結(jié)
22.1 無(wú)監(jiān)督學(xué)習(xí)方法的關(guān)系和特點(diǎn)
22.1.1 各種方法之間的關(guān)系
22.1.2 無(wú)監(jiān)督學(xué)習(xí)方法
22.1.3 基礎(chǔ)及其學(xué)習(xí)方法
22.2 話題模型之間的關(guān)系和特點(diǎn)
參考文獻(xiàn)

附錄A 梯度下降法
附錄B 牛頓法和擬牛頓法
附錄C 拉格朗日對(duì)偶性
附錄D 矩陣的基本子空間
附錄E KL散度的定義和狄利克雷分布的性質(zhì)

索引

題外話

仍然是：證明才難！不過(guò)，先體會(huì)整體框架也同樣重要！！

那些分布函數(shù)的由來(lái)

了解一下分布的由來(lái)也很有趣

• [正態(tài)分布的前世今生]
• [數(shù)理統(tǒng)計(jì)學(xué)簡(jiǎn)史] https://book.douban.com/subject/1522839/

涉及經(jīng)濟(jì)民生的那些指數(shù)

CPI，GDP之類

還有股票市場(chǎng)的那些指數(shù)

一些有趣的視頻

BBC拍了幾部有關(guān)數(shù)據(jù)分析的視頻，值得看看

• 2010.BBC.樂(lè)在其中統(tǒng)計(jì)學(xué).The.Joy.of.Stats
• 2013.BBC.地平線.大數(shù)據(jù)時(shí)代.horizon.the.age.of.big.data
• 2016.BBC.The.Joy.of.Data

最后是幾本專業(yè)書

• [Statistical Methods for the Social Sciences, 4/E] https://book.douban.com/subject/3868520/
• [應(yīng)用多元統(tǒng)計(jì)分析] https://book.douban.com/subject/1239695/
• [實(shí)用多元統(tǒng)計(jì)分析] https://book.douban.com/subject/3519805/