課程背景

image.png

image.png

image.png

什么是神經(jīng)網(wǎng)絡(luò)

image.png

image.png

圖像語音密集矩陣
文本稀疏矩陣

課程安排

image.png

網(wǎng)絡(luò)結(jié)構(gòu)

image.png

eg 在圖中四個隱含層，一個輸出層
從x到y(tǒng) 一個預(yù)測的過程
更深的網(wǎng)絡(luò)比更寬的網(wǎng)絡(luò)在計算上節(jié)省，當(dāng)深度層增加，每一層增加一個解，見微知著，不斷剖析，對應(yīng)神經(jīng)網(wǎng)絡(luò)的深度增長。
每一個神經(jīng)元的設(shè)計體現(xiàn)非線性分析
對每一個神經(jīng)元

image.png

這是一個神經(jīng)元結(jié)點的結(jié)構(gòu)

第一部分：對輸入線性組合
第二部分：進(jìn)行非線性處理 g（z）對線性組合轉(zhuǎn)化成非線性的結(jié)果

邏輯回歸

最小的結(jié)構(gòu)單元：每個神經(jīng)元節(jié)點獨立具有判斷問題的能力，該結(jié)點本身是一個邏輯回歸的模型

對單獨一個神經(jīng)元

image.png

激勵函數(shù)

image.png

image.png

模擬神經(jīng)元被激發(fā)的狀態(tài)變化（非線性），對大腦中的傳遞遞質(zhì)的動作模擬

常用神經(jīng)元

image.png

RELU簡單常用，是首選

損失函數(shù)

評價學(xué)習(xí)y值與預(yù)期y值

image.png

梯度下降

通過漸進(jìn)性方式調(diào)整整個函數(shù)的形態(tài)or performance

zhidao

調(diào)整參數(shù)為W b 找到合理組合使得機器學(xué)習(xí)得到的y值與現(xiàn)實中監(jiān)督的真正y值一致，從而指導(dǎo)預(yù)測結(jié)果

image.png

（：=代表同步更新）
在進(jìn)行運算，指導(dǎo)w.b趨向穩(wěn)定值

網(wǎng)絡(luò)向量化

傳播過程

image.png

輸入到隱含層，四個隱含層生成一個輸出值，即訓(xùn)練得到的y值

image.png

image.png

寫成對應(yīng)的矩陣表達(dá)式

image.png

把這種簡單模型進(jìn)行推廣
對比較大的神經(jīng)網(wǎng)絡(luò)
得到層與層之間的關(guān)系

y

網(wǎng)絡(luò)梯度下降

*對神經(jīng)元的參數(shù)的調(diào)教（反向傳播）
通過運算結(jié)果逆向調(diào)整wb參數(shù)

向前傳播的規(guī)則

image.png

對每一層

image.png

訓(xùn)練過程

image.png

eg。簡單神經(jīng)網(wǎng)絡(luò)

image.png

再進(jìn)行運算，再更新。
反復(fù)這兩個訓(xùn)練過程

image.png

按層計算，算好后更新

總結(jié)

image.png