3.1 調(diào)試處理（Tuning process）
3.2 為超參數(shù)選擇合適的范圍（Using an appropriate scale to pick hyperparameters）
3.3 超參數(shù)調(diào)試的實(shí)踐：Pandas VS Caviar（Hyperparameters tuning in practice: Pandas vs. Caviar）
ps：這里的pandas不是Python的pandas包。
這里提到了兩種方式，一種是不斷好好優(yōu)化一個(gè)模型；另一種是訓(xùn)練多個(gè)模型，選擇最好的。
3.4 歸一化網(wǎng)絡(luò)的激活函數(shù)（Normalizing activations in a network）
在深度學(xué)習(xí)興起后，最重要的一個(gè)思想是它的一種算法，叫做Batch歸一化。
Batch歸一化會(huì)使你的參數(shù)搜索問(wèn)題變得很容易，使神經(jīng)網(wǎng)絡(luò)對(duì)超參數(shù)的選擇更加穩(wěn)定，超參數(shù)的范圍會(huì)更加龐大，工作效果也很好，也會(huì)是你的訓(xùn)練更加容易，甚至是深層網(wǎng)絡(luò)。
3.5 將 Batch Norm 擬合進(jìn)神經(jīng)網(wǎng)絡(luò)（Fitting Batch Norm into a neural network）
3.6 Batch Norm 為什么奏效？（Why does Batch Norm work?）
3.7 測(cè)試時(shí)的 Batch Norm（Batch Norm at test time）
3.8 Softmax 回歸（Softmax regression）
3.9 訓(xùn)練一個(gè) Softmax 分類(lèi)器（Training a Softmax classifier）
二分類(lèi)的分類(lèi)結(jié)果只有兩種可能的標(biāo)記0或1。
有一種logistic回歸的一般形式，叫做Softmax回歸，能讓你在試圖識(shí)別某一分類(lèi)時(shí)做出預(yù)測(cè)，或者說(shuō)是多種分類(lèi)中的一個(gè)，不只是識(shí)別兩個(gè)分類(lèi)
Softmax的輸出不同分類(lèi)的結(jié)果是每個(gè)分類(lèi)的概率。
3.10 深度學(xué)習(xí)框架（Deep Learning frameworks）
3.11 TensorFlow
深度學(xué)習(xí)框架真的蠻多的，教授提到了一些選擇的技巧。實(shí)際上選擇框架也確實(shí)重要，假如就是從事這個(gè)話，不然搞了幾年這個(gè)框架不行了，又要換，非浪費(fèi)比較多的時(shí)間及學(xué)習(xí)成本。
首先便于編程，其次運(yùn)行效率，再者開(kāi)源。另外我想就是背后的公司咋樣。
tensorflow的學(xué)習(xí)資源在B上的有很多。莫凡的教程也可以看看。
我使用的是IPython來(lái)運(yùn)行教授的例子，實(shí)際上在jupyter里面使用應(yīng)該體驗(yàn)更好一些。
In [11]: import tensorflow as tf
In [12]: import numpy as np
In [13]: w = tf.Variable(0,dtype = tf.float32)
In [14]: cost = tf.add(tf.add(w**2,tf.multiply(- 10.,w)),25)
In [16]: train = tf.train.GradientDescentOptimizer(0.01).minimize(cost)
In [17]: init = tf.global_variables_initializer()
In [18]: session = tf.Session()
In [19]: session.run(init)
In [20]: session.run(w)
Out[20]: 0.0
In [21]: print(session.run(w))
0.0
In [22]: session.run(train)
In [23]: print(session.run(w))
0.099999994
In [24]: for i in range(1000):
...: session.run(train)
...: print(session.run(w))
...:
4.9999886
參考資料
[網(wǎng)易云課堂課程](https://mooc.study.163.com/smartSpec/detail/1001319001.htm?from=study）
C2M3 slides
