譯者：szcf-weiya

ESL 指的是 The Elements of Statistical Learning。因?yàn)椋ㄗg者）自己也是統(tǒng)計(jì)學(xué)專業(yè)，所以想研讀這本書，同時(shí)實(shí)現(xiàn)書中的算法及其例子，并嘗試解決習(xí)題。

說明

1. 參考文獻(xiàn)保留原書的寫法，如 “Efron and Tibshirani (1993)” 指的是 “Efron, B. and Tibshirani, R. (1993). An Introduction to the Bootstrap, Chapman and Hall, London.”；并且為了查閱方便，特別在每章的 “Bibliographic Notes” 中用腳注列出了相應(yīng)的參考文獻(xiàn)，查閱過的文獻(xiàn)，還附上了下載鏈接。
2. 該項(xiàng)目不僅僅是單純地翻譯原書，也在實(shí)現(xiàn)書中的一些算法或者例子。這些代碼都可以在這里找到，也可以在 Issues 中找到部分習(xí)題的解答。
3. 限于（譯者）本人英語水平以及統(tǒng)計(jì)知識(shí)，很多地方可能翻譯不到位，歡迎大家指出來，Issue 或者評(píng)論均可，錯(cuò)別字以及數(shù)學(xué)公式解析錯(cuò)誤的也可以指出。

目錄

• 主頁
• 序言
  • 第二版序言
  • 第一版序言
• 1 簡(jiǎn)介
  • 1.1 導(dǎo)言
• 2 監(jiān)督學(xué)習(xí)概要
  • 2.1 導(dǎo)言
  • 2.2 變量類型和術(shù)語
  • 2.3 兩種預(yù)測(cè)的簡(jiǎn)單方法
  • 2.4 統(tǒng)計(jì)判別理論
  • 2.5 高維問題的局部方法
  • 2.6 統(tǒng)計(jì)模型，監(jiān)督學(xué)習(xí)和函數(shù)逼近
  • 2.7 結(jié)構(gòu)化的回歸模型
  • 2.8 限制性估計(jì)的種類
  • 2.9 模型選擇和偏差-方差的權(quán)衡
  • 文獻(xiàn)筆記
• 3 回歸的線性方法
  • 3.1 導(dǎo)言
  • 3.2 線性回歸模型和最小二乘法
  • 3.3 子集的選擇
  • 3.4 收縮的方法
  • 3.5 運(yùn)用派生輸入方向的方法
  • 3.6 選擇和收縮方法的比較
  • 3.7 多重輸出的收縮和選擇
  • 3.8 Lasso 和相關(guān)路徑算法的補(bǔ)充
  • 3.9 計(jì)算上的考慮
  • 文獻(xiàn)筆記
• 4 分類的線性方法
  • 4.1 導(dǎo)言
  • 4.2 指示矩陣的線性回歸
  • 4.3 線性判別分析
  • 4.4 邏輯斯蒂回歸
  • 4.5 分離超平面
  • 文獻(xiàn)筆記
• 5 基展開和正規(guī)化
  • 5.1 導(dǎo)言
  • 5.2 分段多項(xiàng)式和樣條
  • 5.3 濾波和特征提取
  • 5.4 光滑樣條
  • 5.5 光滑參數(shù)的自動(dòng)選擇
  • 5.6 非參邏輯斯蒂回歸
  • 5.7 多維樣條
  • 5.8 正則化和再生核希爾伯特空間理論
  • 5.9 小波光滑
  • 文獻(xiàn)筆記
  • 附錄-B 樣條的計(jì)算
• 6 核光滑方法
  • 6.0 導(dǎo)言
  • 6.1 一維核光滑器
  • 6.2 選擇核的寬度
  • 6.3IRpIRp中的局部回歸
  • 6.4IRpIRp中的結(jié)構(gòu)化局部回歸模型
  • 6.5 局部似然和其他模型
  • 6.6 核密度估計(jì)和分類
  • 6.7 徑向基函數(shù)和核
  • 6.8 混合模型的密度估計(jì)和分類
  • 6.9 計(jì)算上的考慮
  • 文獻(xiàn)筆記
• 7 模型評(píng)估及選擇
  • 7.1 導(dǎo)言
  • 7.2 偏差，方差和模型復(fù)雜度
  • 7.3 偏差-方差分解
  • 7.4 測(cè)試誤差率的 optimism
  • 7.5 樣本內(nèi)預(yù)測(cè)誤差的估計(jì)
  • 7.6 參數(shù)的有效個(gè)數(shù)
  • 7.7 貝葉斯方法和 BIC
  • 7.8 最小描述長(zhǎng)度
  • 7.9 VC 維
  • 7.10 交叉驗(yàn)證
  • 7.11 自助法
  • 7.12 條件測(cè)試誤差或期望測(cè)試誤差
  • 文獻(xiàn)筆記
• 8 模型推斷和平均
  • 8.1 導(dǎo)言
  • 8.2 自助法和最大似然法
  • 8.3 貝葉斯方法
  • 8.4 自助法和貝葉斯推斷之間的關(guān)系
  • 8.5 EM 算法
  • 8.6 從后驗(yàn)分布采樣的 MCMC
  • 8.7 袋裝法
  • 8.8 模型平均和堆棧
  • 8.9 隨機(jī)搜索
  • 文獻(xiàn)筆記
• 9 增廣模型，樹，以及相關(guān)方法
  • 9.0 導(dǎo)言
  • 9.1 廣義可加模型
  • 9.2 基于樹的方法
  • 9.3 PRIM
  • 9.4 多變量自適應(yīng)回歸樣條
  • 9.5 專家的分層混合
  • 9.6 缺失數(shù)據(jù)
  • 9.7 計(jì)算上的考慮
  • 文獻(xiàn)筆記
• 10 增強(qiáng)和可加樹
  • 10.1 boosting 方法
  • 10.2 boosting 擬合可加模型
  • 10.3 向前逐步加性建模
  • 10.4 指數(shù)損失和 AdaBoost
  • 10.5 為什么是指數(shù)損失
  • 10.6 損失函數(shù)和魯棒性
  • 10.7 數(shù)據(jù)挖掘的現(xiàn)貨方法
  • 10.8 垃圾郵件的例子
  • 10.9 boosting 樹
  • 10.10 Gradient Boosting 的數(shù)值優(yōu)化
  • 10.11 大小合適的 boosting 樹
  • 10.12 正則化
  • 文獻(xiàn)筆記
• 11 神經(jīng)網(wǎng)絡(luò)
  • 11.1 導(dǎo)言
  • 11.2 投影尋蹤回歸
  • 11.3 神經(jīng)網(wǎng)絡(luò)
  • 11.4 擬合神經(jīng)網(wǎng)絡(luò)
  • 11.5 訓(xùn)練神經(jīng)網(wǎng)絡(luò)的一些問題
  • 11.6 模擬數(shù)據(jù)的例子
  • 11.7 郵編數(shù)字的例子
  • 文獻(xiàn)筆記
• 12 支持向量機(jī)和靈活的判別方法
  • 12.1 導(dǎo)言
  • 12.2 支持向量分類器
  • 12.3 支持向量機(jī)和核
  • 12.4 廣義線性判別分析
  • 12.5 FDA
  • 12.6 PDA
  • 12.7 混合判別分析
  • 計(jì)算上的考慮
  • 文獻(xiàn)筆記
• 13 原型方法和最近鄰
  • 13.1 導(dǎo)言
  • 13.2 原型方法
  • 13.3 k 最近鄰分類器
  • 13.4 自適應(yīng)的最近鄰方法
  • 13.5 計(jì)算上的考慮
  • 文獻(xiàn)筆記
• 14 非監(jiān)督學(xué)習(xí)
  • 14.1 導(dǎo)言
  • 14.2 關(guān)聯(lián)規(guī)則
  • 14.3 聚類分析
  • 14.4 自組織圖
  • 14.5 主成分，主曲線以及主曲面
  • 14.6 非負(fù)矩陣分解
  • 14.7 獨(dú)立成分分析和探索投影尋蹤
  • 14.8 多維縮放
  • 14.9 非線性降維和局部多維縮放
  • 14.10 谷歌的 PageRank 算法
  • 文獻(xiàn)筆記
• 15 隨機(jī)森林
  • 15.1 導(dǎo)言
  • 15.2 隨機(jī)森林的定義
  • 15.3 隨機(jī)森林的細(xì)節(jié)
  • 15.4 隨機(jī)森林的分析
  • 文獻(xiàn)筆記
• 16 集成學(xué)習(xí)
  • 16.1 導(dǎo)言
  • 16.2 增強(qiáng)和正則路徑
  • 16.3 學(xué)習(xí)集成
  • 文獻(xiàn)筆記
• 17 無向圖模型
  • 17.1 導(dǎo)言
  • 17.2 馬爾科夫圖及其性質(zhì)
  • 17.3 連續(xù)變量的無向圖模型
  • 17.4 離散變量的無向圖模型
  • 文獻(xiàn)筆記
• 18 高維問題
  • 18.1 當(dāng) p 大于 N
  • 18.2 對(duì)角線性判別分析和最近收縮重心
  • 18.3 二次正則的線性分類器
  • 18.4 一次正則的線性分類器
  • 18.5 當(dāng)特征不可用時(shí)的分類
  • 18.6 有監(jiān)督的主成分
  • 18.7 特征評(píng)估和多重檢驗(yàn)問題
  • 文獻(xiàn)筆記