小白剛接觸BN層的時(shí)候簡(jiǎn)直是一頭霧水，在大坑里摸索了很久，終于?。?！有了一點(diǎn)覺(jué)悟，必須要馬克下來(lái)啊~~~

BN使用要注意：1.一般在卷積層使用，2.一般在非線性激活之前使用，3.在訓(xùn)練和測(cè)試的時(shí)候，用法不一樣?。?/p>

BN原理：深度網(wǎng)絡(luò)中間每一層的輸入來(lái)源于上一層的輸出，每次更新參數(shù)之后，輸入數(shù)據(jù)的分布會(huì)產(chǎn)生變化，因此需要重新調(diào)整分布。重新調(diào)整分布以適應(yīng)新的分布，會(huì)出現(xiàn)covariate shift的問(wèn)題，通常需要通過(guò)domin adaptation來(lái)處理，但是covariate shift會(huì)隨著網(wǎng)絡(luò)層數(shù)的增加而擴(kuò)展到這一層之外的其他地方，出現(xiàn)更大的偏移。如果保持輸入的分布不變，參數(shù)就不必根據(jù)輸入的偏移重新調(diào)整以補(bǔ)償其偏差，因此能有效的加速訓(xùn)練。

BN 就是用來(lái)做標(biāo)準(zhǔn)化處理，調(diào)整分布，使結(jié)果滿(mǎn)足均值為0，方差為1，可以加速網(wǎng)絡(luò)收斂。

Tensorflow中實(shí)現(xiàn)BN算法的各種函數(shù)

在tensorflow中給出了幾種實(shí)現(xiàn)batch-norm的方法:
1.tf.nn.batch_normalization 是一個(gè)低級(jí)的操作函數(shù)，調(diào)用者需要自己處理張量的平均值和方差。
2.tf.nn.fused_batch_norm是另一個(gè)低級(jí)的操作函數(shù)，和前者十分相似。不同之處在于它針對(duì)四維輸入張量進(jìn)行了優(yōu)化，這是卷積神經(jīng)網(wǎng)絡(luò)中的常見(jiàn)情況。而前者tf.nn.batch_normalization則接受任何等級(jí)大于1的張量。
3.tf.layers.batch_normalization 是對(duì)先前操作的高級(jí)包裝。最大的不同在于它負(fù)責(zé)創(chuàng)建和管理運(yùn)行張量的均值和方差，并盡可能地調(diào)用快速融合運(yùn)算。通常，這個(gè)函數(shù)應(yīng)該是你的默認(rèn)選擇。
4.tf.contrib.layers.batch_norm是 batch norm 的早期實(shí)現(xiàn)，其升級(jí)的核心API版本為（tf.layers.batch_normalization）。不推薦使用它，因?yàn)樗赡軙?huì)在未來(lái)的版本中丟失。
5.tf.nn.batch_norm_with_global_normalization是另一個(gè)被棄用的操作，現(xiàn)在這個(gè)函數(shù)會(huì)委托給tf.nn.batch_normalization執(zhí)行，在未來(lái)這個(gè)函數(shù)會(huì)被放棄。
6.keras.layers.BatchNormalization 是BN算法的Keras實(shí)現(xiàn)，這個(gè)函數(shù)在后端會(huì)調(diào)用Tensorflow中的tf.nn.batch_normalization函數(shù)。

函數(shù)1 tf.nn.batch_normalization 的使用

先上一個(gè)簡(jiǎn)單的例子，方便理解tf.nn.moments()和tf.nn.batch_normalization()的使用。
tf.nn.moments()返回計(jì)算得到的均值和方差tensor,
tf.nn.batch_normalization()返回BN結(jié)果。

# image shape:[batch_size,width,height,channel]
img_shape = [128, 32, 32, 64]
Wx_plus_b = tf.Variable(tf.random_normal(img_shape))
# axis 是需要?dú)w一化處理的維度[0,1,2]對(duì)應(yīng)小批量圖片的[batch_size,width,height]
axis = list(range(len(img_shape) - 1))

wb_mean, wb_var = tf.nn.moments(Wx_plus_b, axis)

# scale和offset的維度是[channel]
scale = tf.Variable(tf.ones([64]))
offset = tf.Variable(tf.zeros([64]))

# epsilon是自定義的一個(gè)很小的值，為了防止出現(xiàn) 0
variance_epsilon = 0.001
Wx_plus_b = tf.nn.batch_normalization(Wx_plus_b, wb_mean, wb_var, offset, scale, variance_epsilon)

# 手動(dòng)實(shí)現(xiàn)BN
Wx_plus_b1 = (Wx_plus_b - wb_mean) / tf.sqrt(wb_var + variance_epsilon)
Wx_plus_b1 = Wx_plus_b1 * scale + offset

結(jié)果維度是[channel]，每一維對(duì)應(yīng)batch_size*w*h這么多數(shù)據(jù)的均值和方差（對(duì)圖右側(cè)虛線框中所有元素求均值和方差）

另一個(gè)例子，幫助理解BN在訓(xùn)練和測(cè)試時(shí)的不同使用方式。
在訓(xùn)練時(shí)，通過(guò)滑動(dòng)平均值來(lái)計(jì)算每個(gè)batch_size的統(tǒng)計(jì)量（均值和方差）。
在測(cè)試時(shí)，直接使用訓(xùn)練過(guò)程中保存的均值和方差。
tf.cond(is_true,f1,f2)如果is_true=True，則執(zhí)行函數(shù)f1，否則執(zhí)行函數(shù)f2。
tf.control_dependencies()創(chuàng)建函數(shù)之間的依賴(lài)關(guān)系。

def batch_norm(x, name_scope, training, epsilon=1e-3, decay=0.99):
""" Assume 2d [batch, values] tensor"""
with tf.variable_scope(name_scope):
    size = x.get_shape().as_list()[1]
    scale = tf.get_variable('scale', [size], initializer=tf.constant_initializer(0.1))
    offset = tf.get_variable('offset', [size])

    pop_mean = tf.get_variable('pop_mean', [size], initializer=tf.zeros_initializer(), trainable=False)
    pop_var = tf.get_variable('pop_var', [size], initializer=tf.ones_initializer(), trainable=False)
    batch_mean, batch_var = tf.nn.moments(x, [0])
    train_mean_op = tf.assign(pop_mean, pop_mean*decay+batch_mean*(1-decay))
    train_var_op = tf.assign(pop_var, pop_var*decay + batch_var*(1-decay))

    def batch_statistics():
        with tf.control_dependencies([train_mean_op, train_var_op]):
            return tf.nn.batch_normalization(x, batch_mean, batch_var, offset, scale, epsilon)

    def population_statistics():
        return tf.nn.batch_normalization(x, pop_mean, pop_var, offset, scale, epsilon)

    return tf.cond(training, batch_statistics, population_statistics)

  # 操作op2依賴(lài)op1，
  tf.control_dependencies([op1]):
        op2

函數(shù)3 tf.layers.batch_normalization 的使用

tf.layers.batch_normalization()一行搞定?。?！超好用！?。。。?br> BN使用要注意：1.一般在卷積層使用，2.一般在非線性激活之前使用，3.在訓(xùn)練時(shí)training=True, 在測(cè)試時(shí)training=False。
注意：1.設(shè)training為一個(gè)feed的布爾值變量，在訓(xùn)練和測(cè)試時(shí)feed不同的值。
2.在訓(xùn)練時(shí)，要把計(jì)算得到的均值和方差保存下來(lái)，方便測(cè)試時(shí)使用。

with tf.variable_scope('layer1-conv1'):
    conv1_w = tf.get_variable('weight', [3, 3, 1, 32], initializer=tf.truncated_normal_initializer(stddev=0.1))
    conv1_b = tf.get_variable('bias', [32], initializer=tf.constant_initializer(0.0))
    conv1 = tf.nn.conv2d(input_tensor, conv1_w, strides=[1, 1, 1, 1],padding='SAME')
    
    # 卷積操作
    res1 = tf.nn.bias_add(conv1, conv1_b)
    # BN的輸入是卷積結(jié)果，訓(xùn)練時(shí)training=True
    bn1 = tf.layers.batch_normalization(res1, training=is_train)
    # BN后再進(jìn)行非線性激活
    relu1 = tf.nn.relu(bn1)

!!! 訓(xùn)練過(guò)程 !!!

with tf.name_scope('train_op'):
    update_ops = tf.get_collection(tf.GraphKeys.UPDATES_OPS)
    with tf.control_dependencies(update_ops):
        train_op = tf.train.AdamOptimizer(learning_rate).minimize(loss)

# ....
training = tf.placeholder(tf.bool)
feed_dict = {x:batch_x, y:batch_y, training:True}

!!! 測(cè)試 !!!

training = tf.placeholder(tf.bool)
feed_dict = {x:batch_x, y:batch_y, training:False}

參考

Tensorflow Batch normalization函數(shù)
3.1 Tensorflow: 批標(biāo)準(zhǔn)化（Batch Normalization）