機(jī)器學(xué)習(xí)有三個(gè)要素:模型、策略和算法。其中,一些常見的機(jī)器學(xué)習(xí)算法,按使用起來簡(jiǎn)單的程度來排序如下:
決策樹(Decision Tree)
一種廣泛使用的分類算法。相比貝葉斯算法,決策樹的優(yōu)勢(shì)在于構(gòu)造過程不需要任何領(lǐng)域知識(shí)或參數(shù)設(shè)置,因此在實(shí)際應(yīng)用中,對(duì)于探測(cè)式的知識(shí)發(fā)現(xiàn),決策樹更加適用。
優(yōu)點(diǎn):擅長(zhǎng)對(duì)人、地點(diǎn)、事物的一系列不同特征、品質(zhì)、特性進(jìn)行評(píng)估。
場(chǎng)景舉例:基于規(guī)則的信用評(píng)估、賽馬結(jié)果預(yù)測(cè)。
支持向量機(jī)(Support Vector Machine)
其含義是通過“支持向量”運(yùn)算的分類器。其中“機(jī)”的意思是機(jī)器,可以理解為分類器。什么是支持向量呢?在求解的過程中,會(huì)發(fā)現(xiàn)只根據(jù)部分?jǐn)?shù)據(jù)就可以確定分類器,這些數(shù)據(jù)稱為支持向量。例如,在一個(gè)二維環(huán)境中,其中點(diǎn)R,S,G點(diǎn)和其它靠近中間黑線的點(diǎn)可以看作為支持向量,它們可以決定分類器,也就是黑線的具體參數(shù)。
所以,支持向量機(jī)可以對(duì)數(shù)據(jù)群進(jìn)行分類。
優(yōu)點(diǎn):支持向量機(jī)擅長(zhǎng)在變量X與其它變量之間進(jìn)行二元分類操作,無論其關(guān)系是否是線性的。
場(chǎng)景舉例:新聞分類、手寫識(shí)別。
回歸(Regression)
回歸可以勾畫出因變量與一個(gè)或多個(gè)因變量之間的狀態(tài)關(guān)系。回歸問題屬于有監(jiān)督學(xué)習(xí)的范疇?;貧w問題的目標(biāo)是給定D維輸入變量x,并且每一個(gè)輸入矢量x都有對(duì)應(yīng)的值y,要求對(duì)于新來的數(shù)據(jù)預(yù)測(cè)它對(duì)應(yīng)的連續(xù)的目標(biāo)值t。
優(yōu)點(diǎn):回歸可用于識(shí)別變量之間的連續(xù)關(guān)系,即便這個(gè)關(guān)系不是非常明顯。
場(chǎng)景舉例:路面交通流量分析、郵件過濾。
樸素貝葉斯分類(Naive Bayes Classification)
貝葉斯分類是一類分類算法的總稱,這類算法均以貝葉斯定理為基礎(chǔ),故統(tǒng)稱為貝葉斯分類。而樸素貝葉斯分類是貝葉斯分類中最簡(jiǎn)單,也是常見的一種分類方法。
樸素貝葉斯分類器用于計(jì)算可能條件的分支概率。
優(yōu)點(diǎn):對(duì)于在小數(shù)據(jù)集上有顯著特征的相關(guān)對(duì)象,樸素貝葉斯方法可對(duì)其進(jìn)行快速分類
場(chǎng)景舉例:情感分析、消費(fèi)者分類
隱馬爾可夫模型(Hidden Markov model)
顯馬爾可夫過程是完全確定性的——一個(gè)給定的狀態(tài)經(jīng)常會(huì)伴隨另一個(gè)狀態(tài)。交通信號(hào)燈就是一個(gè)例子。相反,隱馬爾可夫模型通過分析可見數(shù)據(jù)來計(jì)算隱藏狀態(tài)的發(fā)生。隨后,借助隱藏狀態(tài)分析,隱馬爾可夫模型可以估計(jì)可能的未來觀察模式。
優(yōu)點(diǎn):容許數(shù)據(jù)的變化性,適用于識(shí)別(recognition)和預(yù)測(cè)操作。
場(chǎng)景舉例:面部表情分析、氣象預(yù)測(cè)。
隨機(jī)森林(Random forest)
隨機(jī)森林通過對(duì)訓(xùn)練集生成多個(gè)決策樹,在決策時(shí),每個(gè)樹都會(huì)預(yù)測(cè)一個(gè)結(jié)果,通過對(duì)所有結(jié)果進(jìn)行表決來避免過擬合。具體而言,利用隨機(jī)的方式建立一個(gè)森林,森林里有很多的決策樹組成,當(dāng)有一個(gè)新的數(shù)據(jù)樣本進(jìn)入的時(shí)候,就讓森林中每一棵決策樹,分別進(jìn)行判斷其屬于哪一類,然后看哪一類被選擇最多,就預(yù)測(cè)這個(gè)樣本為哪一類。
優(yōu)點(diǎn):隨機(jī)森林方法被證明對(duì)大規(guī)模數(shù)據(jù)集和存在大量且有時(shí)不相關(guān)特征的項(xiàng)(item)來說很有用。
場(chǎng)景舉例:用戶流失分析、風(fēng)險(xiǎn)評(píng)估。
循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural network)
在任意神經(jīng)網(wǎng)絡(luò)中,每個(gè)神經(jīng)元都通過1個(gè)或多個(gè)隱藏層來將很多輸入轉(zhuǎn)換成單個(gè)輸出。循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)會(huì)將值進(jìn)一步逐層傳遞,讓逐層學(xué)習(xí)成為可能。換句話說,RNN存在某種形式的記憶,允許先前的輸出去影響后面的輸入。
優(yōu)點(diǎn):循環(huán)神經(jīng)網(wǎng)絡(luò)在存在大量有序信息時(shí)具有預(yù)測(cè)能力。
場(chǎng)景舉例:圖像分類與字幕添加、政治情感分析。
長(zhǎng)短期記憶(Long short-term memory,LSTM)
早期的RNN形式是會(huì)存在損耗的。盡管這些早期循環(huán)神經(jīng)網(wǎng)絡(luò)只允許留存少量的早期信息,新近的長(zhǎng)短期記憶(LSTM)與門控循環(huán)單元(GRU)神經(jīng)網(wǎng)絡(luò)都有長(zhǎng)期與短期的記憶。換句話說,這些新近的RNN擁有更好的控制記憶的能力,允許保留早先的值或是當(dāng)有必要處理很多系列步驟時(shí)重置這些值,這避免了「梯度衰減」或逐層傳遞的值的最終degradation。LSTM與GRU網(wǎng)絡(luò)使得我們可以使用被稱為「門(gate)」的記憶模塊或結(jié)構(gòu)來控制記憶,這種門可以在合適的時(shí)候傳遞或重置值。
優(yōu)點(diǎn):長(zhǎng)短期記憶和門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)具備與其它循環(huán)神經(jīng)網(wǎng)絡(luò)一樣的優(yōu)點(diǎn),但因?yàn)樗鼈冇懈玫挠洃浤芰Γ愿1皇褂谩?/p>
場(chǎng)景舉例:自然語言處理、翻譯。
卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network)
帶著一組固定權(quán)重的神經(jīng)元是一個(gè)濾波器,多個(gè)濾波器疊加便成了卷積層。
因?yàn)槊總€(gè)神經(jīng)元的多個(gè)權(quán)重固定,所以又可以看做一個(gè)恒定的濾波器filter)做內(nèi)積(逐個(gè)元素相乘再求和)的操作就是所謂的『卷積』操作,也是卷積神經(jīng)網(wǎng)絡(luò)的名字來源。
卷積神經(jīng)網(wǎng)絡(luò)廣泛用于圖像檢測(cè),它的實(shí)現(xiàn)原理與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)基本上是一樣的。
優(yōu)點(diǎn):當(dāng)存在非常大型的數(shù)據(jù)集、大量特征和復(fù)雜的分類任務(wù)時(shí),卷積神經(jīng)網(wǎng)絡(luò)是非常有用的。
場(chǎng)景舉例:圖像識(shí)別、文本轉(zhuǎn)語音、藥物發(fā)現(xiàn)。