發(fā)簡信
IP屬地：上海
-
ICLR 2019 最佳論文《Ordered Neurons: Integrating Tree Structures Into Recurrent Neural Networks》
最近ICLR2019接受論文已經(jīng)公布，最佳論文也跟著亮相了，這篇是兩篇最佳論文中的其中一篇，另外一篇是《The Lottery Ticket H...
-
2019-04-28 梯度下降
轉(zhuǎn)自知乎https://zhuanlan.zhihu.com/p/32230623 首先定義：待優(yōu)化參數(shù)：，目標(biāo)函數(shù)：，初始學(xué)習(xí)率 ： 而后，開...
-
《Batch Normalization》閱讀筆記
文章提出了將批處理作為模型本身的一部分。 批處理的平均損失是對整個數(shù)據(jù)集的估計；批處理可以利用數(shù)據(jù)并行提高訓(xùn)練速度。深度學(xué)習(xí)需要謹(jǐn)慎調(diào)整模型參數(shù)...
-
2019-04-23 《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》筆記17年暑假看過的《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》發(fā)現(xiàn)挺不錯的，最近拿來繼續(xù)翻一翻，總結(jié)一下數(shù)據(jù)挖掘里經(jīng)典的方法，敲一敲代碼。 簡述： 1、K-NN： 優(yōu)點(diǎn)：精度...
-
2019-04-22 《Attention Is All You Need》昨天重新看了一下之前沒怎么看懂的《attention is all you need》，感覺其實(shí)挺簡單的，可以說是 product is all...
-
2019-04-19
論文《Zoom to learn，Learn to zoom》。 本以為是一篇非常有意思的CV中講用深度學(xué)習(xí)實(shí)現(xiàn)變焦的文章，結(jié)果論文的主要貢獻(xiàn)是...