事件抽取中應(yīng)用小樣本，即信息抽取的小樣本應(yīng)用。小樣本的貢獻(xiàn)定位是實(shí)現(xiàn)“多面智能體”。初入小樣本，一通入門了解，做個(gè)筆記。
? ? ? ? 1、從"小樣本"這個(gè)名詞開始，小樣本學(xué)習(xí)例子闡述：人類未見過澳大利亞的鴨嘴獸，給我們一張鴨嘴獸的圖片后，人類就認(rèn)識(shí)了。我們要通過機(jī)器學(xué)習(xí)實(shí)現(xiàn)這樣的效果。
? ? ? ? 2、小樣本學(xué)習(xí)是Mate learning在監(jiān)督學(xué)習(xí)領(lǐng)域的應(yīng)用，mate learning 又稱為learning to learn.?
? ? ? ? 3、接下來是對其他博客總結(jié)的元學(xué)習(xí)進(jìn)行學(xué)習(xí)。
? ? ? ? ? ? ? ? ?A、元學(xué)習(xí)，如何學(xué)習(xí)，這篇博客從元學(xué)習(xí)如何學(xué)習(xí)講了一下元學(xué)習(xí)。
? ? ? ? ? ? ? ? ? ? ? ? ?基于度量計(jì)算的方法：用5篇論文進(jìn)行了闡述，第一篇論文2015 Convolutional Siamese Neural Network，one-shot 的度量計(jì)算；第二篇論文2016Matching Networks,one-shot 的度量計(jì)算，不同于第一篇的地方是度量計(jì)算公式復(fù)雜了些，利用注意力機(jī)制的權(quán)值進(jìn)行相似類別的打分；第三篇2017原型網(wǎng)絡(luò)，few-shot 的度量計(jì)算，第四篇Relation Networks2018,又回到了one-shot的度量計(jì)算，與之前方法不同的是度量計(jì)算是通過神經(jīng)網(wǎng)路學(xué)習(xí)的一個(gè)更適合各類別進(jìn)行度量的函數(shù)。第五篇
2019感知網(wǎng)絡(luò)（Few-Shot Text Classification with Induction Network論文出自阿里小蜜），此篇論文解析不是出自此篇博客，而是出自另外一篇博客“小樣本學(xué)習(xí)在文本分類中的應(yīng)用”，此篇是few-shot的度量計(jì)算的論文，不同于先前的方法的地方是對于類的特征向量不再是簡單的相加而是通過一個(gè)神經(jīng)網(wǎng)絡(luò)將其進(jìn)行融合。
? ? ? ? ? ? ? ? ? ? ? ? ? ? 基于模型的方法：沒有太認(rèn)真關(guān)注著個(gè)反面，待后續(xù)....
? ? ? ? ? ? ? ? ? ? ? ? ? ? 基于優(yōu)化的方法：一類是2017Mate learning,還有一類是LSTM Meta-Learner2017
? ? ? ? 4、還看了一個(gè)zero-shot learning 的綜述介紹和一個(gè)小樣本學(xué)習(xí)綜述。對于這兩個(gè)綜述，看的是云里霧里。不知道有沒有撥開云霧的那一天，待后續(xù).....
小樣本針對的問題是：樣本少
小樣本的貢獻(xiàn)或亮點(diǎn)：快速應(yīng)對未知新樣本
小樣本被關(guān)注：有了一定的可解釋性。
所以不管基于什么的方法，測試過程和訓(xùn)練過程的類別不能重合，這才是小樣本。
? ? ? ? ? ? ?++===============================華麗的分割線=================================++
? ? ? 不知道大家有沒有關(guān)注過事件抽取，不了解的想了解的可以看HERE。事件抽取任務(wù)和NER相似，所以使用了大量NER任務(wù)中成功的模型，如BiLSTM+softmax、BILSTM+CRF、BERT+softmax、BERT+CRF，基本都是序列標(biāo)注的，最近嘗試了一種新的方法也是《在百度AI Studio 2020語言與智能技術(shù)競賽：事件抽取任務(wù)》中其他參賽選手使用過的，MRC閱讀理解形式的序列標(biāo)注方法。
? ? ? ?深度學(xué)習(xí)算法模型進(jìn)行樣本的編碼，后面跟一個(gè)Softmax進(jìn)行分類，元學(xué)習(xí)度量計(jì)算式的方法通過計(jì)算相似度進(jìn)行分類。分類的方式有很多，上述是兩種方式。在元學(xué)習(xí)中怎樣實(shí)現(xiàn)序列標(biāo)注的learning to learn,2020年的ACL會(huì)議中出現(xiàn)了一篇小樣本進(jìn)行序列標(biāo)注的實(shí)現(xiàn)，侯宇泰的《Few-shot SlotTagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptiveProjection Network》，作者本人還對自己的論文進(jìn)行了講解從HERE進(jìn)入視頻觀看
研究生畢業(yè)論文需要?jiǎng)?chuàng)新點(diǎn)，事件抽取任務(wù)應(yīng)用小樣本，創(chuàng)新的著力點(diǎn)有兩個(gè)，一個(gè)是在小樣本這種解決問題的方式進(jìn)行創(chuàng)新，創(chuàng)新出一種新形勢的Learning to learn。另外一個(gè)著力點(diǎn)是立足本方向，在現(xiàn)有的小樣本學(xué)習(xí)方法中怎樣契合的應(yīng)用于事件抽取。
