mismatch指的不是「被masked掉的單詞在fine-tuning中 is never seen」吧?應該是[mask]這個標記在下游任務中是不可能出現(xiàn)的。
BERT:google的fine-tune算法最近,BERT這篇文章刷爆了朋友圈,我也去拜讀了一下。這是Google AI Language這個月放在arXiv上的文章,主要是通過pre-train和fine-tunin...
mismatch指的不是「被masked掉的單詞在fine-tuning中 is never seen」吧?應該是[mask]這個標記在下游任務中是不可能出現(xiàn)的。
BERT:google的fine-tune算法最近,BERT這篇文章刷爆了朋友圈,我也去拜讀了一下。這是Google AI Language這個月放在arXiv上的文章,主要是通過pre-train和fine-tunin...