Chapter 4
4.3.1
Jacobian 和 Hessian矩陣
當(dāng)Hessian的所有特征值都是正的牛頓法才適用,牛頓法會受到鞍點的影響,梯度下降不會被吸引到鞍點
深度學(xué)習(xí)中的大多數(shù)問題都難以表示成凸優(yōu)化的形式
KKT方法是Lagrange乘子法(只允許等式約束)的推廣
KKT
Chapter 5
5.6.1
最大后驗(MAP)估計
Jacobian 和 Hessian矩陣
當(dāng)Hessian的所有特征值都是正的牛頓法才適用,牛頓法會受到鞍點的影響,梯度下降不會被吸引到鞍點
深度學(xué)習(xí)中的大多數(shù)問題都難以表示成凸優(yōu)化的形式
KKT方法是Lagrange乘子法(只允許等式約束)的推廣
KKT
最大后驗(MAP)估計