張逸宸 14020199023

【嵌牛觀察】周志華提出無分布學習

【嵌牛鼻子】無分布學習? ? ? 深度學習

【嵌牛提問】無分布學習較其他機器學習算法的優(yōu)勢？

論文地址：https://arxiv.org/abs/1706.02471

? ? ? ? 在許多大規(guī)模機器學習應用中，數(shù)據(jù)會隨著時間而累積，因此，一個合適的模型應當能以一種在線的范式而進行更新。此外，因為在構建模型時，總的數(shù)據(jù)量是未知的，因此人們希望使用獨立于數(shù)據(jù)量的存儲來對每個數(shù)據(jù)項進行僅一次的掃描。另外值得注意的是在數(shù)據(jù)累積過程中，其基礎分布可能會發(fā)生改變。為了應對這樣的任務，在這篇論文中，周老師團隊提出了 DFOP——無分布一次通過學習方法（distribution-free one-pass learning approach）。這種方法在數(shù)據(jù)累積過程中分布發(fā)生變化時效果良好，且無需有關該變化的先驗知識。每個數(shù)據(jù)項一旦被掃描后就可以被拋棄了。此外，理論保證（theoretical guarantee）也表明在一個輕微假設下的估計誤差（estimate error）會下降，直到高概率地收斂。

? ? ? 具體算法如下：

實驗結(jié)果：

圖 1: 在合成數(shù)據(jù)集上，7 種方法在 holdout 精確度方面的表現(xiàn)對比。左邊是全部的 7 種方法；為了清晰，右邊只繪制了 RLS、DWM 和 DFOP。

圖 2 ：在帶有分布變化的 4 個數(shù)據(jù)集上使用不同的遺忘因子的累積精確度