相對(duì)于深度學(xué)習(xí),傳統(tǒng)機(jī)器學(xué)習(xí)的流程往往由多個(gè)獨(dú)立的模塊組成,比如在一個(gè)典型的自然語言處理(Natural Language Processing)問題中,包括分詞、詞性標(biāo)注、句法分析、語義分析等多個(gè)獨(dú)立步驟,每個(gè)步驟是一個(gè)獨(dú)立的任務(wù),其結(jié)果的好壞會(huì)影響到下一步驟,從而影響整個(gè)訓(xùn)練的結(jié)果,這是非端到端的。
而深度學(xué)習(xí)模型在訓(xùn)練過程中,從輸入端(輸入數(shù)據(jù))到輸出端會(huì)得到一個(gè)預(yù)測(cè)結(jié)果,與真實(shí)結(jié)果相比較會(huì)得到一個(gè)誤差,這個(gè)誤差會(huì)在模型中的每一層傳遞(反向傳播),每一層的表示都會(huì)根據(jù)這個(gè)誤差來做調(diào)整,直到模型收斂或達(dá)到預(yù)期的效果才結(jié)束,這是端到端的。
兩者相比,端到端的學(xué)習(xí)省去了在每一個(gè)獨(dú)立學(xué)習(xí)任務(wù)執(zhí)行之前所做的數(shù)據(jù)標(biāo)注,為樣本做標(biāo)注的代價(jià)是昂貴的、易出錯(cuò)的。
作者:張旗
鏈接:https://www.zhihu.com/question/50454339/answer/257372299
來源:知乎
著作權(quán)歸作者所有,轉(zhuǎn)載請(qǐng)聯(lián)系作者獲得授權(quán)。
端到端指的是輸入是原始數(shù)據(jù),輸出是最后的結(jié)果,原來輸入端不是直接的原始數(shù)據(jù),而是在原始數(shù)據(jù)中提取的特征,這一點(diǎn)在圖像問題上尤為突出,因?yàn)閳D像像素?cái)?shù)太多,數(shù)據(jù)維度高,會(huì)產(chǎn)生維度災(zāi)難,所以原來一個(gè)思路是手工提取圖像的一些關(guān)鍵特征,這實(shí)際就是就一個(gè)降維的過程。
那么問題來了,特征怎么提?
特征提取的好壞異常關(guān)鍵,甚至比學(xué)習(xí)算法還重要,舉個(gè)例子,對(duì)一系列人的數(shù)據(jù)分類,分類結(jié)果是性別,如果你提取的特征是頭發(fā)的顏色,無論分類算法如何,分類效果都不會(huì)好,如果你提取的特征是頭發(fā)的長(zhǎng)短,這個(gè)特征就會(huì)好很多,但是還是會(huì)有錯(cuò)誤,如果你提取了一個(gè)超強(qiáng)特征,比如染色體的數(shù)據(jù),那你的分類基本就不會(huì)錯(cuò)了。
這就意味著,特征需要足夠的經(jīng)驗(yàn)去設(shè)計(jì),這在數(shù)據(jù)量越來越大的情況下也越來越困難。于是就出現(xiàn)了端到端網(wǎng)絡(luò),特征可以自己去學(xué)習(xí),所以特征提取這一步也就融入到算法當(dāng)中,不需要人來干預(yù)了。
來源:知乎
著作權(quán)歸作者所有。