背景：基于大規(guī)模的語言模型。在pretrain-fineTuning兩階段的范式下，pretrain 階段，數(shù)據(jù)量較大，學(xué)習(xí)到的知識(shí)泛化能力較強(qiáng)。fine tuning階段的數(shù)據(jù)往往是少量的。以前的工作，通常傾向aggressive。理解為，完全信任新數(shù)據(jù)，由小數(shù)據(jù)量的任務(wù)完全決定模型參數(shù)的更新。在這個(gè)過程中，很可能導(dǎo)致了過擬合，而使得效果下降或泛化能力的降低。

方法：為了延續(xù)模型的泛化能力，可通過只更新模型的一部分參數(shù)（子網(wǎng)絡(luò)）來達(dá)到保留pretrain階段學(xué)習(xí)到的知識(shí)，提高泛化能力的效果。而對于子網(wǎng)絡(luò)的選擇，分為隨機(jī)及主動(dòng)選擇兩種方式，即“任務(wù)無關(guān)”和“任務(wù)驅(qū)動(dòng)”兩種方式。其中，主動(dòng)選擇的方式重點(diǎn)在于以什么標(biāo)準(zhǔn)定義參數(shù)對于任務(wù)的重要程度。

任務(wù)無關(guān)：以一定比例，隨機(jī)選擇參數(shù)進(jìn)行更新。

參數(shù)更新-偽代碼

任務(wù)驅(qū)動(dòng)：選擇標(biāo)準(zhǔn)為Fisher Information。用于估計(jì)隨機(jī)變量（參數(shù)）里攜帶了多少分布參數(shù)（結(jié)果）的信息。對參數(shù)的估計(jì)比較耗時(shí)，因此在fine tuneZhi前，本文固定的導(dǎo)出了子網(wǎng)絡(luò)，后面不再更新子網(wǎng)絡(luò)。

實(shí)驗(yàn)：在公開的數(shù)據(jù)集上，以不同的fine-tune方式進(jìn)行了實(shí)驗(yàn)。在指標(biāo)上均有提升。并在跨領(lǐng)域、跨任務(wù)的數(shù)據(jù)上進(jìn)行了驗(yàn)證。