第二章機(jī)器學(xué)習(xí)概述

2.1 基本概念

基本概念：樣本、特征（屬性）、標(biāo)簽、模型、學(xué)習(xí)算法
這里舉了一個(gè)買芒果的例子。特征和標(biāo)簽的區(qū)別，特征是一個(gè)一個(gè)屬性，標(biāo)簽是這些屬性的值。

image.png

2.2 三個(gè)基本要素

• 模型
  • 線性模型
  • 非線性模型
• 學(xué)習(xí)準(zhǔn)則
  • 損失函數(shù)：損失函數(shù)是一個(gè)非負(fù)實(shí)數(shù)函數(shù)，用來(lái)量化模型預(yù)測(cè)和真實(shí)標(biāo)簽之間的差異。
    • 平方損失函數(shù)
    • 交叉熵?fù)p失函數(shù)
    • Hinge損失函數(shù)
  • 風(fēng)險(xiǎn)最小化準(zhǔn)則，防止過(guò)擬合或是欠擬合
  • 優(yōu)化算法
    • 梯度下降
    • 提前停止
    • 隨機(jī)梯度下降
    • 小批量梯度下降

2.3 線性回歸

2.4 偏差-方差分解

2.5 算法類型

按照訓(xùn)練樣本提供的信息以及反饋方式的不同進(jìn)行分類。

• 監(jiān)督學(xué)習(xí)（回歸、分類、結(jié)構(gòu)化學(xué)習(xí)）
• 無(wú)監(jiān)督學(xué)習(xí)（聚類、密度估計(jì)、特征學(xué)習(xí)、降維）
• 強(qiáng)化學(xué)習(xí)

image.png

2.6 數(shù)據(jù)特征表示

2.7 評(píng)價(jià)指標(biāo)

正確率、準(zhǔn)確率、召回率、F值

2.8 理論和定理

• PAC學(xué)習(xí)理論
• 奧卡姆剃刀（和正則化思想很類似）
• 歸納偏置（先驗(yàn)）