深度模型有關(guān)數(shù)值穩(wěn)定性的典型問(wèn)題是衰減和爆炸。當(dāng)神經(jīng)網(wǎng)絡(luò)的層數(shù)較多時(shí),模型的數(shù)值穩(wěn)定性容易變差
我們通常需要隨機(jī)初始化神經(jīng)網(wǎng)絡(luò)的模型參數(shù),如權(quán)重參數(shù)
深度模型有關(guān)數(shù)值穩(wěn)定性的典型問(wèn)題是衰減和爆炸。當(dāng)神經(jīng)網(wǎng)絡(luò)的層數(shù)較多時(shí),模型的數(shù)值穩(wěn)定性容易變差
我們通常需要隨機(jī)初始化神經(jīng)網(wǎng)絡(luò)的模型參數(shù),如權(quán)重參數(shù)