姓名：王正帥

學(xué)號：14020120007

轉(zhuǎn)載自：mp.weixin.qq.com/s ，有刪節(jié)

【嵌牛導(dǎo)讀】：今年 8 月份，機(jī)器之心推薦了斯坦福 2017 CS231n 春季課程。近日，斯坦福公開了 STATS 385 秋季課程（還未結(jié)課，10.11-12.16)，主題為《深度學(xué)習(xí)理論》，相關(guān)的課件資源也已放出（部分視頻公開），希望能為大家尋求課程資源提供幫助。

【嵌牛鼻子】：斯坦福 2017 CS231n 春季課程、《深度學(xué)習(xí)理論》

【嵌牛提問】：如何學(xué)好深度學(xué)習(xí)？本次提供的課程有哪些推薦內(nèi)容？

【嵌牛正文】：

1、課程介紹

深度學(xué)習(xí)最近的成就很大程度上基于經(jīng)驗(yàn)，不過，學(xué)者們總是在試圖在理論層面上解釋發(fā)展背后的原因。在斯坦福大學(xué)新推出的課程《Theories of Deep Learning》中，我們將從講師 Bruna、Mallat、Mhaskar、Poggio、Papyan等人那里，試圖建立神經(jīng)網(wǎng)絡(luò)背后的理論體系。在最初的背景介紹課程之后，幾個論文作者將對自己的工作進(jìn)行專門講解。本課程共有 10 講，每周上一次課。

該課程主要可以分為四部分，即回顧深度學(xué)習(xí)的概念、復(fù)習(xí)深度學(xué)習(xí)的理論方法、然后再討論具體的理論貢獻(xiàn)和最后三個課程的理論分析。

該課程主要圍繞五個主題討論，即統(tǒng)計機(jī)器學(xué)習(xí)、最優(yōu)化理論、逼近理論和 Harmonic 分析和神經(jīng)科學(xué)?？赡芪覀儽容^熟悉的就是統(tǒng)計機(jī)器學(xué)習(xí)和最優(yōu)化方法，他們確實(shí)能解釋深度學(xué)習(xí)具體算法到底是如何工作的，但并不足以構(gòu)建深度學(xué)習(xí)的理論基石。

該課程開篇先討論了深度學(xué)習(xí)的挑戰(zhàn)，即它到底是不是有理論依據(jù)。當(dāng)然這里并不是說深度學(xué)習(xí)算法沒有理論推導(dǎo)與分析，而是說該領(lǐng)域是不是存在一個普遍的理論基礎(chǔ)，它應(yīng)該擁有邏輯自洽和可解釋性。這一部分的課程先解釋了深度學(xué)習(xí)目前所出現(xiàn)的問題，例如它的黑箱問題、理論可解釋性問題等等。隨后介紹了試圖構(gòu)建相關(guān)理論的方法，如神經(jīng)科學(xué)、諧波分析（Harmonic analysis）、逼近理論、統(tǒng)計機(jī)器學(xué)習(xí)。

2、嘗試使用神經(jīng)科學(xué)的觀點(diǎn)解釋視覺與卷積神經(jīng)網(wǎng)絡(luò)

前面既然已經(jīng)了解到了深度學(xué)習(xí)的局限性，那么第二課就具體討論了深度學(xué)習(xí)（主要以 CNN 為例）所涉及的概念與理論。這一部分從最基本的感知機(jī)單元（現(xiàn)在已有另外一個基本單元 Capsule）開始，詳細(xì)介紹了各主流 CNN 框架與常用的訓(xùn)練技巧，如正則化、批量歸一化（BN）和最優(yōu)化方法等。

下面我們簡要地展示了這一部分課程的內(nèi)容。我們知道感知機(jī)是深度神經(jīng)網(wǎng)絡(luò)的基本構(gòu)成單元，它是構(gòu)成目前所有架構(gòu)的基礎(chǔ)，包括最近 Hinton 開放的 Capsule 單元也只是利用一組神經(jīng)元以表征向量。而組織這些基本單元的架構(gòu)就是整個神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，一般這些神經(jīng)元會有正向和反向傳播兩種路徑，正向傳播以給定輸入數(shù)據(jù)做出推斷，而反向傳播誤差以更新網(wǎng)絡(luò)。

3、總結(jié)

總的來說，該課件的前兩個是組織者對人工智能發(fā)展的總結(jié)以及對該課程的介紹。從第三課開始，講師開始對深度學(xué)習(xí)的一些概念做詳細(xì)介紹：從卷積神經(jīng)網(wǎng)絡(luò)到生成模型、動態(tài)規(guī)劃&EM 等等。