neuron network: 是一種非常強(qiáng)大的學(xué)習(xí)算法，這種算法的靈感來源與人類的大腦組成
???????????????????????????????? ReLU函數(shù)的特點(diǎn)是初始值為0，之后變?yōu)橐粭l直線
? ? ? ? ? ? ?? 上圖圓圈的部分代表單個(gè)神經(jīng)元，其完成的任務(wù)為輸入x可以輸出相對(duì)應(yīng)的y
? ? ? ? ? ? ? ? ? ? ? ? ?? 上圖表示由多個(gè)神經(jīng)元聚集而成的神經(jīng)網(wǎng)絡(luò)（multiple neuron network）
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 上圖為surpervised learning的一些具體應(yīng)用
對(duì)于第1，2種應(yīng)用，使用standard nerual network?就可以解決，對(duì)于第三種圖像，通常使用CNN（卷積神經(jīng)網(wǎng)絡(luò)），對(duì)于第4，5種應(yīng)用中這樣的one-dimensional sequence data,可以使用RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))，對(duì)于第六種應(yīng)用，則需要更復(fù)雜的網(wǎng)絡(luò)，也就是hybrid nerual network architecture(混合的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu))
結(jié)構(gòu)化數(shù)據(jù)可以理解為可以在數(shù)據(jù)庫中進(jìn)行存儲(chǔ)的表格化數(shù)據(jù)，每個(gè)特征（變量）都有著明確的定義
深度學(xué)習(xí)興起的原因：
1）數(shù)據(jù)規(guī)模的增長
2）計(jì)算能力的提高
3）神經(jīng)網(wǎng)絡(luò)算法的改進(jìn)（減少算法運(yùn)行時(shí)間）
? ? ?? 上圖表示隨著數(shù)據(jù)規(guī)模的增長各種算法的表現(xiàn)，紅線代表傳統(tǒng)的機(jī)器學(xué)習(xí)算法（比如SVM），可以看到隨著數(shù)據(jù)的增長，算法的表現(xiàn)在到達(dá)一定程度后不再上升，紅線之上的三條線分別代表小規(guī)模，中等規(guī)模，大規(guī)模的神經(jīng)網(wǎng)絡(luò)，可以看到隨著數(shù)據(jù)的規(guī)模的增長，神經(jīng)網(wǎng)絡(luò)的表現(xiàn)越來越優(yōu)異，且神經(jīng)網(wǎng)絡(luò)的規(guī)模越大，表現(xiàn)的越好。
? ? ?? 上圖中的scale有兩方面的意思，一個(gè)是被標(biāo)記的數(shù)據(jù)（labeled data）的規(guī)模，一個(gè)是神經(jīng)網(wǎng)絡(luò)的規(guī)模,規(guī)模的增大使得神經(jīng)網(wǎng)絡(luò)算法表現(xiàn)的越來越優(yōu)異。
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 訓(xùn)練神經(jīng)網(wǎng)絡(luò)的迭代過程
過程：當(dāng)我們有了想發(fā)之后就通過code的方式來實(shí)現(xiàn)，然后對(duì)模型進(jìn)行訓(xùn)練（experiment）,查看算法的實(shí)際效果，如果算法測試的時(shí)間短，我們就能在更短的時(shí)間做更多次的實(shí)驗(yàn)，得到更好的模型。
