必須要動手實踐，看是看不會的?。?！

tf中數(shù)據(jù)都以tensor的形式出現(xiàn)，即多維數(shù)組。

常量 VS 變量（不是常量就是變量）

tensorboard 網(wǎng)絡(luò)結(jié)構(gòu)
tensorboard運行數(shù)據(jù)
tensorboard可視化

關(guān)鍵的tf.reshape()

tensor

Variable

constant

local response normalization 局部響應(yīng)歸一化函數(shù)
歸一化　VS 正則化
歸一化：把數(shù)變?yōu)椋?，1）之間的小數(shù)
特點：對不同特征維度的伸縮變換的目的是使各個特征維度對目標(biāo)函數(shù)的影響權(quán)重是一致的，即使得那些扁平分布的數(shù)據(jù)伸縮變換成類圓形。這也就改變了原始數(shù)據(jù)的一個分布。
好處：1 提高迭代求解的收斂速度; 2 提高迭代求解的精度
正則化：l1 l2 dropout 等:防止過擬合
normalization vs regularization