基本概念

1. 科學(xué)推理手段
   歸納：特殊到一般
   演繹：一般到特殊
2. 監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí)
   監(jiān)督學(xué)習(xí)：有明確的答案。分類(lèi)包括二分類(lèi)和多分類(lèi)。二分類(lèi)就是正負(fù)；多分類(lèi)要選擇哪一種特征種類(lèi)。
   分類(lèi)離散，回歸連續(xù)。
   無(wú)監(jiān)督學(xué)習(xí)：沒(méi)有明確的答案。聚類(lèi)（cluster）
3. 預(yù)測(cè)
   測(cè)試樣本
   泛化能力：可預(yù)測(cè)的范圍。

模型評(píng)估與選擇

1.一種訓(xùn)練集一種算法

1.1 經(jīng)驗(yàn)誤差與過(guò)擬合

• error rate ：E = a/m（m是樣本數(shù)量，a是錯(cuò)誤數(shù)量）
• accuracy 精度：1 - E
• error 誤差：[Y - Y']

1.2 評(píng)估方法（訓(xùn)練集驗(yàn)證集與測(cè)試集）(如何獲得測(cè)試結(jié)果？)

• 泛化能力：模型對(duì)沒(méi)有見(jiàn)過(guò)的數(shù)據(jù)的預(yù)測(cè)能力。

• 一般把數(shù)據(jù)分成三份：訓(xùn)練集（60%），驗(yàn)證集（20%），測(cè)試集（20%）。
  用訓(xùn)練集訓(xùn)練出模型，然后用驗(yàn)證集驗(yàn)證模型，根據(jù)情況不斷調(diào)整模型，選出其中最好的模型，記錄最好的模型的各項(xiàng)選擇，然后據(jù)此再用（訓(xùn)練集+驗(yàn)證集）數(shù)據(jù)訓(xùn)練出一個(gè)新模型，作為最終的模型，最后用測(cè)試集評(píng)估最終的模型。

• training set 訓(xùn)練集

• testing set 測(cè)試集
  測(cè)試集的保留方法：
  1）留出法：三七分 or 二八分；注意訓(xùn)練集和測(cè)試集同分布；多次隨機(jī)劃分，訓(xùn)練出多個(gè)模型，最后取平均值（平均值指什么？）
  2）K折交叉驗(yàn)證法：常用，數(shù)據(jù)分幾份，分別進(jìn)行測(cè)試，取測(cè)試結(jié)果的平均值。

• 每個(gè)樣本點(diǎn)只有一次被劃入訓(xùn)練集或測(cè)試集的機(jī)會(huì)。

• 適合小樣本，數(shù)據(jù)量小的情況。大數(shù)據(jù)算力大。

  
  
  K折交叉驗(yàn)證圖.png

3）自助法

• validation set 驗(yàn)證集：驗(yàn)證集為了調(diào)參。
  比如，三個(gè)參數(shù)，每個(gè)參數(shù)有5個(gè)候選值，那么對(duì)一個(gè)測(cè)試集or 訓(xùn)練集就有5^3 = 125個(gè)模型。
  流程：訓(xùn)練集訓(xùn)練，驗(yàn)證機(jī)看結(jié)果，調(diào)參，再驗(yàn)證集看結(jié)果，調(diào)完參數(shù)，再在測(cè)試集上看結(jié)果。

1.3 性能度量 (如何評(píng)估性能優(yōu)劣？)

1.3.1 錯(cuò)誤率與精度
1.3.2 查準(zhǔn)率、查全率與F1
1.3.3 代價(jià)敏感錯(cuò)誤率與代價(jià)曲線

2. 一種訓(xùn)練集多種算法

2.1 P-R圖像
查全率（Recall）
查準(zhǔn)率（Precision）
2.2 ROC與AUC

ROC曲線與AUC示意圖.png

3. 多種訓(xùn)練集一種算法

3.1 代價(jià)敏感錯(cuò)誤率與代價(jià)曲線

image.png

代價(jià)曲線：非均等代價(jià)下，直接反映出學(xué)習(xí)器的期望總體代價(jià)。

正例代價(jià)概率.png

3.2 偏差與方差

4. 測(cè)試集上的性能多大程度可保證真實(shí)性能 (如何判斷實(shí)質(zhì)差別？ )

4.1 比較檢驗(yàn)

• 測(cè)試集上的性能與真正的泛化性能未必相同
• 測(cè)試機(jī)不同反映出來(lái)的性能不同
• 機(jī)器學(xué)習(xí)算法本身有一定的隨機(jī)性，同一個(gè)測(cè)試集上多次運(yùn)行，可能會(huì)有不同的結(jié)果
• 假設(shè)檢驗(yàn)

4.1.1 一個(gè)測(cè)試集一種算法

4.1.2

參考資料：

1. k折交叉驗(yàn)證_tianguiyuyu的博客-CSDN博客_k折交叉驗(yàn)證
2. 訓(xùn)練集，驗(yàn)證集，測(cè)試集（以及為什么要使用驗(yàn)證集？）（Training Set, Validation Set, Test Set） - HuZihu - 博客園 (cnblogs.com)
3. 查全率（Recall），查準(zhǔn)率（Precision），靈敏性（Sensitivity），特異性（Specificity），F(xiàn)1，PR曲線，ROC，AUC的應(yīng)用場(chǎng)景 - HuZihu - 博客園 (cnblogs.com)
4. 分類(lèi)模型的性能評(píng)價(jià)指標(biāo)（Classification Model Performance Evaluation Metric） - HuZihu - 博客園 (cnblogs.com)
5. 代價(jià)敏感錯(cuò)誤率與代價(jià)曲線lg23:59的博客-CSDN博客代價(jià)敏感錯(cuò)誤率與代價(jià)曲線
6. 機(jī)器學(xué)習(xí)（周志華）第2.3.4節(jié)中，代價(jià)曲線的理解？ - 知乎 (zhihu.com)
7. 模型評(píng)估與選擇（后篇）-代價(jià)曲線青雲(yún)-吾道樂(lè)途的博客-CSDN博客代價(jià)曲線
8. Paper: Cost curves: An improved method for visualizing classifier performance