報(bào)錯(cuò)
ResourceExhaustedError (see above for traceback): OOM when allocating tensor with shape[3,128,240,320]
原因
1.這是因?yàn)樵谂軠y(cè)試數(shù)據(jù)時(shí),一次性計(jì)算量太大導(dǎo)致內(nèi)存溢出了,修改代碼。
2.有另外一個(gè)訓(xùn)練程序與之爭(zhēng)搶資源,停掉,在重新給訓(xùn)練任務(wù)分配GPU,避免爭(zhēng)搶。
3.換一個(gè)GPU,我這個(gè)服務(wù)器的gpu_0會(huì)產(chǎn)生內(nèi)存溢出問(wèn)題,換成gpu_3就可以運(yùn)行。