人工神經(jīng)網(wǎng)絡(luò)（artificial neural network）是感知器（perceptron）和激活（activation）函數(shù)的集合，網(wǎng)絡(luò)的隱藏層由多個(gè)感知器所組成，隱藏層提供非線性化，將輸入層映射為低維的輸出層。映射是累加輸入層與權(quán)重的乘積，再加上偏移值。模型（model）就是網(wǎng)絡(luò)結(jié)構(gòu)的全部權(quán)重值（weight）和全部偏移值（bias）。
ANN
模型的訓(xùn)練過程，就是為了確定最合適的權(quán)重和偏移的值。在訓(xùn)練開始時(shí)，模型的值會被隨機(jī)初始化。使用損失函數(shù)（loss function），對比訓(xùn)練的結(jié)果與真值（ground truth）的差異。根據(jù)損失值，在步驟中，參數(shù)不斷地被調(diào)整。當(dāng)損失值不能進(jìn)一步下降時(shí)，訓(xùn)練被停止。在訓(xùn)練中，模型學(xué)習(xí)到數(shù)據(jù)的特征（feature）。特征是原始圖像的抽象。
在通用的逼近定理（approximation theory）中，神經(jīng)網(wǎng)絡(luò)可以近似任何函數(shù)。隱藏層也可以被稱之為全連接層（dense layer）。每一層都含有一個(gè)激活函數(shù)。層的數(shù)量取決于問題的難度。
反向傳播：
- 隨機(jī)初始化參數(shù)；
- 根據(jù)反向傳播原理，鏈?zhǔn)角髮?dǎo)，獲得計(jì)算參數(shù)梯度的公式；
- 將其他參數(shù)，帶入梯度公式，即w1的導(dǎo)數(shù)值，由其他參數(shù)w決定；
- 獲得梯度值，再乘以學(xué)習(xí)率，下降的具體梯度值；
- 參數(shù)值，減去梯度值，完成梯度下降；
