1、 綜述
1.1 論文鏈接
1、 Batch Normalization
https://arxiv.org/pdf/1502.03167.pdf
2、 Layer Normalizaiton
https://arxiv.org/pdf/1607.06450v1.pdf
3、 Instance Normalization
https://arxiv.org/pdf/1607.08022.pdf
https://github.com/DmitryUlyanov/texture_nets
4、 Group Normalization
https://arxiv.org/pdf/1803.08494.pdf
5、 Switchable Normalization
https://arxiv.org/pdf/1806.10779.pdf
https://github.com/switchablenorms/Switchable-Normalization
1.2 介紹
歸一化層，目前主要有這幾個方法，Batch Normalization（2015年）、Layer Normalization（2016年）、Instance Normalization（2017年）、Group Normalization（2018年）、Switchable Normalization（2018年）；
將輸入的圖像shape記為[N, C, H, W]，這幾個方法主要的區(qū)別就是在，
batchNorm是在batch上，對NHW做歸一化，對小batchsize效果不好；
layerNorm在通道方向上，對CHW歸一化，主要對RNN作用明顯；
instanceNorm在圖像像素上，對HW做歸一化，用在風格化遷移；
GroupNorm將channel分組，然后再做歸一化；
SwitchableNorm是將BN、LN、IN結(jié)合，賦予權重，讓網(wǎng)絡自己去學習歸一化層應該使用什么方法。
