一、訓(xùn)練模型使用的訓(xùn)練集中，對(duì)于一部分用于檢驗(yàn)預(yù)測(cè)準(zhǔn)確的訓(xùn)練樣本，針對(duì)我們感興趣的 “類別” 是否做了 “標(biāo)注” 而形成不同的學(xué)習(xí)方法，可以分為監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí) 三種學(xué)習(xí)方式。
二、強(qiáng)化學(xué)習(xí)基本上是屬于一種動(dòng)態(tài)決策過程。先把決策分為多個(gè)階段。在每一個(gè)階段進(jìn)行決策時(shí)候，總是在一定的環(huán)境下，有很多種可以選擇的行動(dòng)方式，有不同效果。第一個(gè)階段可以選擇一個(gè)優(yōu)化的行動(dòng)組合得到期望結(jié)果，第二個(gè)階段根據(jù)第一個(gè)階段結(jié)果，再選擇一個(gè)優(yōu)化的行動(dòng)組合。以此類推。
三、機(jī)器學(xué)習(xí)有多種方法，比如 SVM、模糊數(shù)學(xué)，遺傳算法，等等。
1、其中有一個(gè)比較特別的是模擬人類神經(jīng)元行為及構(gòu)成的 連接主義 仿生形成的所謂神經(jīng)網(wǎng)絡(luò)ANN。由多輸入得到的一個(gè) 非線性 單輸出的人工神經(jīng)元形成的 單層結(jié)構(gòu) 為基準(zhǔn)再形成多層網(wǎng)狀結(jié)構(gòu)。這種 全連接 的分層結(jié)構(gòu)，一般有輸入層、隱藏層和輸出層，不超過四層，就是人工神經(jīng)網(wǎng)絡(luò)ANN。
2、深度學(xué)習(xí)是超過四層的ANN通過 稀疏連接（非全連接）構(gòu)成的一種網(wǎng)絡(luò)結(jié)構(gòu)。
3、卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)中一種重要結(jié)構(gòu)，由多個(gè)單元構(gòu)成，每一個(gè)單元都包括以矩陣形式出現(xiàn)出現(xiàn)的數(shù)據(jù)層，進(jìn)行卷積運(yùn)算的卷積核（一個(gè)11、33、5*5等方陣），還有對(duì)卷積運(yùn)算之后得到結(jié)果進(jìn)行 池化 作用。
四、模型評(píng)估
用一個(gè)整體誤差率（準(zhǔn)確率、精度）來描述模型性能是不夠的。還要有分類度量標(biāo)準(zhǔn)，因此還有提升圖/增益圖（將模型應(yīng)用于檢驗(yàn)數(shù)據(jù)集的不同部分回如何改變分類結(jié)果）、投資回收率ROI（評(píng)估模型財(cái)務(wù)收益。收益與成本之比，給程序附帶上響應(yīng)的成本可以給決策提供額外的指導(dǎo)）、接收器運(yùn)行特性圖ROC（取偽和棄真不能同時(shí)優(yōu)化，設(shè)定一個(gè)適當(dāng)閾值，使得取偽率（FAR）和棄真率（FRR）剛好平衡）等。
五、當(dāng)前的機(jī)器學(xué)習(xí)，基本上還是一個(gè)統(tǒng)計(jì)學(xué)習(xí)范疇。也就是說通過一個(gè)函數(shù)來擬合數(shù)據(jù)本身的結(jié)構(gòu)。一般是通過找許多個(gè)點(diǎn)，每個(gè)點(diǎn)有一個(gè)真實(shí)值和觀察值，一般通過二者的差(殘差）的多種形式（如殘差平方均值形成的均方誤差）的最小化作為我們的目標(biāo)函數(shù)。通過目標(biāo)函數(shù)最小化訓(xùn)練出相應(yīng)的參數(shù)模型。
模型有一個(gè)經(jīng)驗(yàn)風(fēng)險(xiǎn)和結(jié)構(gòu)風(fēng)險(xiǎn)。函數(shù)如果足夠復(fù)雜，能讓已知點(diǎn)誤差最小，這就是經(jīng)驗(yàn)風(fēng)險(xiǎn)，但其預(yù)測(cè)效果可能不好，這就是結(jié)構(gòu)風(fēng)險(xiǎn)。而我們一般是希望模型的預(yù)測(cè)（回歸、分類）效果好，就是更看重結(jié)構(gòu)風(fēng)險(xiǎn)。訓(xùn)練參數(shù)是，經(jīng)驗(yàn)風(fēng)險(xiǎn)太小會(huì)造成模型的過擬合（模型太復(fù)雜），太大（模型過于簡(jiǎn)單）會(huì)造成欠擬合，二者都會(huì)讓結(jié)構(gòu)風(fēng)險(xiǎn)變大。
六、模型選擇。需要模型驗(yàn)證和模型核實(shí)兩個(gè)內(nèi)容。對(duì)一個(gè)數(shù)據(jù)通過不同機(jī)器學(xué)習(xí)方法可以得到不同模型。有時(shí)通過同樣的一個(gè)訓(xùn)練方法把樣本進(jìn)行多種訓(xùn)練集（訓(xùn)練參數(shù)）和驗(yàn)證集（檢驗(yàn)預(yù)測(cè)效果）得到的同種類型模型，把這些模型的預(yù)測(cè)結(jié)果結(jié)合起來進(jìn)行綜合預(yù)測(cè)，比單個(gè)模型進(jìn)行預(yù)測(cè)能有更好結(jié)果，這個(gè)結(jié)論是可以得到嚴(yán)格數(shù)學(xué)證明。
