如何讀論文

吳恩達建議,研讀一篇論文需要讀三遍

第一遍:讀標題、摘要和圖片。

第二遍:讀引言和結論部分,再瀏覽一遍圖片,并快速瀏覽論文的其他部分。

第三遍:閱讀論文的全部內容,跳過你不熟悉的復雜數(shù)學或技術公式。這一遍閱讀時,你還可以跳過不理解或不熟悉的專業(yè)術語。


張俊林:拉馬努金式思維訓練法
盡量用最少的論文內容(標題→摘要→結構圖)腦補如下的信息,比對真正的做法有什么異同

要解決的問題:
大的方法框架:
具體任務流程:
創(chuàng)新點和想法:

閱讀的paper: Distributed representations of words and phrases and their compositionality
解決的問題:對Skip-gram進行擴展,提升了訓練速度和embeding vector的質量。
思路框架:Subsampling of frequent words、Negative sampling、Phrase Embedding
具體方法: Subsampling主要的目標就是將高頻的詞剔除,因為高頻詞帶來的信息量較小,所以將其剔除節(jié)約計算資源。Negative sampling是從負樣本(噪聲)中采樣,。是從NCE簡化而來,NCE的作用是使模型能區(qū)分數(shù)據(jù)和噪聲,替代了分層 softmax,理由是后者的樹結構對性能影響很大, Phrase Embedding就是把常見的詞組作為一個單詞,所以更合理的是把“Boston Globe“看成一個單詞,有他自己的word vector。
創(chuàng)新點和想法:有3個創(chuàng)新點:
1.把常見的詞組作為一個單詞 (Phrase Embedding)。
2.少采樣常見的詞 (Subsampling of frequent words)
3.修改優(yōu)化目標函數(shù),這個策略稱之為“Negative Sampling(負采樣)“,使得每個訓練樣本只去更新模型中一小部分的weights。


華剛:帶著十個問題看論文

  1. 這篇文章究竟講了什么問題?比方說你設計一個算法,它的 input 和 output 是什么?

  2. 這個問題的性質是什么?是一個新的問題嗎?如果是一個新問題,它的重要性何在?如果不完全是一個新問題,那為什么它“仍然重要”?

  3. 這篇文章致力于證明什么假設?接受過深度科研訓練的人都知道所有研究其實都是從科學假設開始的。從 12 年開始,計算機視覺領域的很多研究員認為這是一門實證科學(experimental science),即需要提出假說并通過實驗去驗證。

  4. 有哪些與這篇文章相關的研究?這一領域有哪些關鍵人物?

  5. 這篇文章提出的問題解決方案中,核心貢獻是什么?

  1. 實驗是如何設計的?計算機視覺研究中,實驗設計的重要性不言而喻。但在寫 paper 的過程中,實驗的表現(xiàn)不是最重要的,關鍵是如何通過實驗去支撐每個假說。

  2. 實驗是在什么樣的數(shù)據(jù)集基礎上運行的?科學研究結果應當是可以量化、可以復現(xiàn)的,讀文章的人是否能接觸到文中所用的數(shù)據(jù)集?

  1. 實驗結果能否有力地支持假設?如果一篇文章提出的假設并沒有被實驗或者理論完美支撐的話,多半不是一篇好的文章。

  2. 這篇文章的貢獻是什么?回答了前面 8 個問題之后,第9個問題的答案也呼之欲出了。你應當試著用自己的語言總結出來。

  3. 下一步可以做什么?這是非常關鍵的一個問題,也決定了你今后能否在科研領域獲得成功。在這篇文章的基礎上,我們接下來能做什么?應該做什么?在科學研究的初期,導師會給你方向上的指導,但作為一名獨立的研究員,你應該獨立地回答這個問題。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

友情鏈接更多精彩內容