pytorch 出現(xiàn)RuntimeError: CUDA error: an illegal memory access was encountered的解決方法

最近在使用pytorch編寫transformer模型時(shí)遇到一個(gè)奇怪的報(bào)錯(cuò)，使用CPU訓(xùn)練模型時(shí)沒有問題，但是一切換到GPU訓(xùn)練時(shí)就出問題，會報(bào)
RuntimeError: CUDA error: an illegal memory access was encountered

  1. 首先在文件頭插入以下代碼，可以讓報(bào)錯(cuò)信息更準(zhǔn)確
os.environ['CUDA_LAUNCH_BLOCKING'] = '1'
  1. 之后再運(yùn)行模型，發(fā)現(xiàn)報(bào)錯(cuò)在forward函數(shù)的最后一行上
return nn.LayerNorm(d_model)(output + residual)

這行代碼上，經(jīng)過查詢資料得知，這是因?yàn)閚n.LayerNorm這個(gè)layer還儲存在cpu上，要計(jì)算cuda上保存的變量時(shí)就會報(bào)錯(cuò)。所以正確的解決方法就是在構(gòu)造模型時(shí)就聲明nn.LayerNorm，不要在forward中聲明nn.layerNorm

class transformer(nn.Module):
  def __init__(self):
    ###代碼###
    xxxxx
    ##########
    self.layerNorm = nn.LayerNorm(d_model)
  def forward(self):
    ###代碼###
    xxxxx
    ##########
    return self.layerNorm(output + residual)

希望我的經(jīng)驗(yàn)?zāi)軒椭侥?=w=

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容