最近在用Imgnet2012 validation set跑定量實驗時，沒跑幾個epoch就出現(xiàn)了內(nèi)存爆滿的情況
解決辦法：
1. 將某個變量進(jìn)行detach一下
2. 將使用到該變量的地方 ，print時，選擇使用.item()來取值，而不是取tensor
這個問題得到解決，沒幾天出現(xiàn)了新的問題。。。經(jīng)過排查，是因為將所有樣本一次性計算損失并更一次，這樣tensor的暴增必然會帶來內(nèi)存的暴增。。。
小節(jié)：一般更新梯度時，有三種方法：計算所有樣本的損失并更一次，準(zhǔn)確性高但計算成本高；隨機梯度，也就是每個樣本更一次，計算塊但是不準(zhǔn)確，有時不同樣本的更新梯度會互相抵消；采用批處理，一批數(shù)據(jù)進(jìn)行更一次，這樣計算穩(wěn)定且成本低。
