有了基礎(chǔ)的《概率/統(tǒng)計(jì)》、《線性代數(shù)》、《微積分》知識(shí)，就可以上手深度學(xué)習(xí)的算法和實(shí)踐了。但經(jīng)過一段時(shí)間的工程實(shí)踐，慢慢覺得大多數(shù)時(shí)間都用在選模型，調(diào)超參，或者是網(wǎng)絡(luò)結(jié)構(gòu)的排列組合上。深度學(xué)習(xí)的黑盒特性越來越明顯。難道深度學(xué)習(xí)工程師就當(dāng)真是數(shù)據(jù)“煉丹師”嗎？
如果，你有了這樣的感覺，下面的視頻不妨抽時(shí)間看看(都需要翻墻)：
李宏毅《Machine Learning and having it deep and structured》
不多說，直接看目錄吧。
課程地址：http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html
《Theory 1 - Why Deep Structure》
?Can shallow network fit any function
?Potential of Deep
?Is Deep better than Shallow
《Theory 2 - Optimization》
?When Gradient is Zero
?Deep Linear Network
?Does Deep Network have Local Minima
?Geometry of Loss Surfaces (Conjecture)
?Geometry of Loss Surfaces (Empirical)
《Theory 3 - Generalization 》
?Capability of Generalization
?Indicator of Generalization
Sanjeev Arora《The mathematics of machine learning and deep learning》
視頻地址：https://www.youtube.com/watch?v=r07Sofj_puQ
這是ICM2018的主題演講，雖然Sanjeev Arora作為普林斯頓計(jì)算機(jī)科學(xué)的教授，但演講內(nèi)容深入淺出，并沒有涉及大量的數(shù)學(xué)公式和推導(dǎo)，這里貼一下提綱：
小結(jié)
這兩部分的內(nèi)容是相互呼應(yīng)的，可以先看李宏毅老師的課程，然后在看Sanjeev Arora教授的分享總結(jié)。
