主要提問(wèn)點(diǎn)

• 寫(xiě)出softmax損失函數(shù)代碼（python），以及交叉熵?fù)p失函數(shù)
• 判斷和消除過(guò)擬合的方法
  dropout，正則項(xiàng)，還有其他的方法？
• 正則化的方法與原理
  L0，L1，正則化
• batchnorm的原理，要看論文
• 手推正向傳播反向傳播的向量表達(dá)式
  梯度消失的原因，除了梯度爆炸/消失以外還應(yīng)該考慮權(quán)值的影響（推完公式里面就能看出來(lái)，因?yàn)樗擎準(zhǔn)角髮?dǎo)，偏導(dǎo)數(shù)相乘）。
• 動(dòng)量更新
  區(qū)別于sgd的原因
• 寫(xiě)出幾種常見(jiàn)的神經(jīng)網(wǎng)絡(luò)
  VGGNet、ResNet
• Relu激活函數(shù)也不能解決梯度消失問(wèn)題。
  會(huì)使得神經(jīng)元失活
• 基本超參數(shù)的調(diào)整方式（調(diào)參）
• 何凱明，提出resnet之前的論文有無(wú)了解