增加隱層數(shù)量比增加隱層神經(jīng)元個數(shù)更有效,因為增加了激活函數(shù)嵌套的層數(shù)。
多隱層網(wǎng)絡(luò)難以用BP算法訓(xùn)練,因為誤差會“發(fā)散” -梯度消失,導(dǎo)致不能收斂
無監(jiān)督逐層訓(xùn)練(unsupervised layer-wise training):
預(yù)訓(xùn)練+微調(diào)
權(quán)共享:
即讓一組神經(jīng)元使用相同的連接權(quán),常用于CNN
增加隱層數(shù)量比增加隱層神經(jīng)元個數(shù)更有效,因為增加了激活函數(shù)嵌套的層數(shù)。
多隱層網(wǎng)絡(luò)難以用BP算法訓(xùn)練,因為誤差會“發(fā)散” -梯度消失,導(dǎo)致不能收斂
無監(jiān)督逐層訓(xùn)練(unsupervised layer-wise training):
預(yù)訓(xùn)練+微調(diào)
權(quán)共享:
即讓一組神經(jīng)元使用相同的連接權(quán),常用于CNN