1、有監(jiān)督學(xué)習(xí)：通過(guò)已有的訓(xùn)練樣本去訓(xùn)練得到一個(gè)最優(yōu)模型，再利用這個(gè)模型將所有的輸入映射為相應(yīng)的輸出，對(duì)輸出進(jìn)行簡(jiǎn)單的判斷從而實(shí)現(xiàn)預(yù)測(cè)和分類的目的，也就具有了對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)和分類的能力。就如有標(biāo)準(zhǔn)答案的練習(xí)題，然后再去考試，相比沒有答案的練習(xí)題然后去考試準(zhǔn)確率更高。又如我們小的時(shí)候不知道牛和鳥是否屬于一類，但當(dāng)我們隨著長(zhǎng)大各種知識(shí)不斷輸入，我們腦中的模型越來(lái)越準(zhǔn)確，判斷動(dòng)物也越來(lái)越準(zhǔn)確。

有監(jiān)督學(xué)習(xí)可分為回歸和分類。

回歸：即給出一堆自變量X和因變量Y，擬合出一個(gè)函數(shù)，這些自變量X就是特征向量，因變量Y就是標(biāo)簽。 而且標(biāo)簽的值連續(xù)的，例LR。

分類：其數(shù)據(jù)集，由特征向量X和它們的標(biāo)簽Y組成，當(dāng)你利用數(shù)據(jù)訓(xùn)練出模型后，給你一個(gè)只知道特征向量不知道標(biāo)簽的數(shù)據(jù)，讓你求它的標(biāo)簽是哪一個(gè)？其輸出結(jié)果是離散的。例如logistics、SVM、KNN等。

2、無(wú)監(jiān)督學(xué)習(xí)：我們事先沒有任何訓(xùn)練樣本，而需要直接對(duì)數(shù)據(jù)進(jìn)行建模。比如我們?nèi)⒂^一個(gè)畫展，我們完全對(duì)藝術(shù)一無(wú)所知，但是欣賞完多幅作品之后，我們也能把它們分成不同的派別。無(wú)監(jiān)督學(xué)習(xí)主要算法是聚類，聚類目的在于把相似的東西聚在一起，主要通過(guò)計(jì)算樣本間和群體間距離得到，主要算法包括Kmeans、層次聚類、EM算法。