激活函數(shù): 以上兩個(gè),在兩頭都會(huì)出現(xiàn)梯度消失 修正的分段函數(shù) 損失函數(shù): 過(guò)擬合 防止過(guò)擬合 上圖又叫L2正則化 防止過(guò)擬合 防止過(guò)擬合-動(dòng)量項(xiàng)