讓我們大膽想象一下老板突然暴富，拿到一筆錢的場景。他大手揮舞你五百萬，讓你做自然語言處理的研究。你應該先研究哪個子領域?

　　機器翻譯好像不錯，信息提取也是需要的。對話系統(tǒng)是實現(xiàn)NLP的重要方向。如何評估這些 NLP

任務的重要性是一個非常開放的問題。從商業(yè)價值應用前景來看，是一套評價體系。從科研貢獻來看，又是一套排名標準。把高度抬高一點，站在社會一員的角度，如何評價NLP任務的社會效益，將是一個非常有意義的討論話題。

　　并且今年收錄在ACL發(fā)現(xiàn)中的這篇論文從社會效益的角度提出了一套NLP任務的社會效益的評價指標，并優(yōu)先從社會效益最大化的角度研究NLP這個話題，讓我們看一看!

　　論文題目：

　　NLP有多好?從社會影響的角度清醒地看待 NLP 任務

　　論文鏈接：

　　https://arxiv.org/pdf/2106.02359.pdf

　　訪問慢的arxiv朋友也可以在【奚逍遙賣萌武】訂閱號后臺回復關鍵詞【0621】。下載論文PDF~

　　什么是好的 NLP 技術?

　　毋庸置疑，NLP已經(jīng)滲透到我們生活的方方面面，一些典型的NLP應用的名字也被我們分享過，比如某天制作的一個關于Siri的笑話，被谷歌翻譯抄成了英文。這一切都讓NLP從一個學科領域的概念走進了我們的日常生活，一旦NLP的技術不再只是在某一領域分享知識的一小群研究人員，面對它的社會影響，他的注意力就會集中在階段。

　　估計沒人會想到他們床邊的對話機器人會說“心跳不好，為了更好，請確保刀能刺穿你的心臟”，當然總會有人擔心的

冷酷的自然語言處理系統(tǒng)充滿種族主義和性別歧視內容結果。

　　因此，相關人工智能倫理的研究就是從這方面入手，開始探索算法歧視、算法公平、透明、公正等問題。事實上，人工智能的倫理學有著悠久的歷史。甚至可以說，自所謂的人工智能誕生以來，就引起了各種倫理學的討論。倫理所關心的問題，本質上是為道德立法，厘清道德力所能及范圍內的界限，討論人類跨越地域和文化鴻溝的共識，明確具體的善惡定義。情況。

　　因此，人工智能倫理學的研究希望定義的是這樣一個問題——“什么是好的人工智能系統(tǒng)?”回到這篇論文，論文作者希望解決的問題，就是這么一個問題：

　　給定一個具有特定技能的研究人員或研究團隊，以及他們可以進行研究的一組 NLP

技術，對于研究人員來說，為了取得更好的社會效益，什么技術最值得進行研究?

　　看這個問題，我們可以發(fā)現(xiàn)它的難點集中在：

　　如何定義所謂的良好社會效益?

　　不同的 NLP 技術如何影響社會效益?

　　如何優(yōu)先研究?

　　針對這些問題，筆者在論文中首先通過經(jīng)典的倫理學理論和觀點，給出了評價良好社會效益的定性方法。其次，作者通過因果結構模型對現(xiàn)有的NLP技術進行了分類，從而基于層次關系討論了不同類型的NLP技術對社會效益的不同影響。之后，作者利用全局優(yōu)先級領域的分析框架提出了一系列有用的指標來衡量技術優(yōu)先級。最后，作者通過ACL

2020年570篇論文的分析研究，基于社會效益評價的意義和NLP領域應該優(yōu)先考慮的話題，給出了一套思考方法。

　　什么是好的社會福利?

　　每年三月，聯(lián)合國下屬的可持續(xù)發(fā)展解決方案網(wǎng)絡都會發(fā)布一份關于世界幸福的報告，該報告衡量不同國家的經(jīng)濟水平、預期壽命、慷慨和友善、社會支持、自由和腐敗。幸福指數(shù)。

　　然而，幸福真的可以通過評估經(jīng)濟水平、預期壽命等來定義嗎?恐怕答案永遠是千千萬萬，總會有偏差的。

　　良好社會福利的定義也是如此。往往是矛盾的：如果我們認為節(jié)能會產(chǎn)生良好的社會影響，那么肯定會有生活在零下20度的人抱怨天氣寒冷。沒有足夠的煤來啟動爐子。

　　從哲學的角度來看，可以基于一些不同的假設來部分避免這種困境。一個非常簡單的假設是基于直覺。例如，直覺上講，脫貧總是會提高社會效益，所以脫貧總是具有良好的社會影響。然而，這種直覺主義的觀點顯然不夠嚴謹，不足以支持社會影響的評價，因此本文選取了倫理學的三種主流理論來衡量良好的社會影響。這三種理論是義務論和目的論。還有美德論。

　　為了更好地理解這三種理論的不同觀點，我們引入了一個熟悉的倫理思想實驗——電車問題。

　　道義論者主張內在道德原則的絕對性，即人們的行為必須以道德為理由。因此，面對電車的問題，道義學家會認為拉下?lián)u桿會導致一個人死亡，不作惡是道德原則之一，所以道義學家認為他們沒有權利拉下?lián)u桿而選擇不行動。

　　目的論者通常被稱為功利主義者。他們的觀點是，人們應該做出符合“最大利益”的行為。因此，目的論者會選擇拉下操縱桿，因此他們不會不接受義務論者對其道德的譴責。

　　最后，美德理論家試圖區(qū)分道義論者和目的論者，通過提取人群中某些特殊人的特殊行為，例如我們提取孔子的言行作為道德人可以達到的美德境界或者應該實現(xiàn)以規(guī)范人們的行為。盡管在電車問題上，道德家們應該做出與義務論者相同的選擇，但內在的驅動因素是不同的。

　　使用這三個理論，我們可以從三個不同的角度來評價所謂的良好社會影響，但是我們無法知道哪個理論是正確的，或者我們無法判斷哪個理論是正確的，此時，我們處于一種被定義為的狀態(tài)“道德不確定性”，而根據(jù)學者威廉·麥卡斯基爾等人提出的理論，即使我們處于道德不確定性之中，我們仍然可以做一些簡單的整理和選擇，比如認識可以被所有標準認可的選擇，以及被所有標準拒絕的選擇。

　　因此，我們有一個社會效益的評估工具。與其說是社會效益的定量排名，不如說它更類似于每種 NLP

技術可能帶來的社會影響。角度類似于雷達圖和SMART分析。對于特定的 NLP 技術，例如 NLP 技術是否應該用于醫(yī)療領域，在三種理論下選擇 NLP

技術治療疾病和救人是道德和可取的。我們可以認為這具有很好的社會效益。對于其他技術，當理論觀點發(fā)生沖突時，我們應該進行合理的權衡。

　　根據(jù)這種評價方法，結合倫理學家的意見，作者提出了一些具有良好社會效益的NLP研究領域，如欺詐信息識別、模型可解釋性、低資源學習、模型魯棒性研究等，這些研究是被視為具有良好社會效益的

NLP 技術和研究領域。

　　不同的 NLP 技術如何影響社會效益?

　　顯然，不同的 NLP

任務對社會效益有不同的影響?？梢哉f，經(jīng)過種族歧視言論訓練的亞馬遜Alexa機器人對社會產(chǎn)生了負面影響，但很難討論語言識別或對話系統(tǒng)的內部應用。某種預訓練模型對社會效益是有益還是有害。

　　因此，本文根據(jù)因果結構將不同的 NLP 技術分為四個階段。

　　第一階段是基礎理論。這個基礎理論是直接決定學科性質的理論。例如，對于

NLP，即使有“每當我解雇語言學家時，語音識別系統(tǒng)更準確”的笑話，但語言學基礎理論仍然是 NLP 中最受歡迎的基礎理論。

　　第二階段是模塊化工具，是下游任務的重要組成部分，如分詞、序列標注、信息提取等。

　　第三階段是應用研究。這類研究是商業(yè)應用的雛形，如機器翻譯、問答系統(tǒng)、對話系統(tǒng)等。

　　第四階段是商品化。經(jīng)過前后端開發(fā)，已經(jīng)達到可以部署應用的成熟產(chǎn)品，如谷歌翻譯、小度智能音箱等。

　　作者將ACL

2020論文分為四個等級對切分方法進行分類，統(tǒng)計每個階段最熱門的話題。可以看出，從論文數(shù)量來看，第二階段>第三階段>第四階段>第一階段。從這個統(tǒng)計規(guī)律，我們可以多少看出現(xiàn)階段的主要研究領域和方法。

　　這種分類賦予了 NLP 技術一個層次結構。根據(jù)各層技術之間的因果關系，NLP技術的四個階段可以用樹狀圖來表示，如下圖所示：

　　筆者認為，NLP技術中存在因果關系，即只有當樹上層的技術被發(fā)明時，下層的技術才能存在，例如只有當機器翻譯技術被成熟。有可能會出現(xiàn)谷歌翻譯產(chǎn)品，機器翻譯的技術必須基于詞向量等技術。

　　因此，只要在第四階段有衡量商品化產(chǎn)品社會效益的指標，就可以按照因果關系圖來統(tǒng)計各個節(jié)點對社會效益的間接影響。作者將每項 NLP

技術的社會影響定義為：

　　其中，指的是NLP技術對社會影響的不同方面。比如有些技術可以提高人們的隱私保護，有些技術可以為人們創(chuàng)造更多的空閑時間，有些技術可以提高人們的教育水平。另一方面，技術在該方面的應用規(guī)模代表了該技術在該方面的社會影響力。

　　好，現(xiàn)在我們有了衡量第四階段技術對社會影響的方法，那么如何衡量更基礎的技術對社會的影響呢?論文認為，任何技術的社會影響力都是其所有后代在第四階段的技術影響力的總和，因此公式為：

　　哪里是子節(jié)點技術能夠成功開發(fā)的概率，是技術對子節(jié)點的技術貢獻，也就是子節(jié)點技術的影響力，最終會被第四代的社會影響力公式取代舞臺技術。

　　根據(jù)這種評價方法，我們可以在一定程度上表征以下兩個結論：

　　由于累積效應，對于第一階段和第二階段的 NLP 技術，隨著它們創(chuàng)造更多的社會效益，技術的整體影響總是趨于積極的。

　　社會影響質量的不確定性主要集中在第四階段技術上，這意味著第四階段技術的開發(fā)者應該最關注技術的社會影響。

　　如何確定研究重點?

　　現(xiàn)在我們有了評估不同 NLP 技術的社會影響的工具，是時候做出選擇了。面對種類繁多的 NLP 技術和理論，我們如何確定它們的研究重點?

　　其實問題又回到了開頭，老板給我們的這500萬，怎么花得更有意義?這實際上是全球優(yōu)先事項所關注的問題。全球每年對社會福利的支持是5000億美元，福利機構不得不考慮一個問題，面對世界的各種問題——饑餓、貧困、謀殺、歧視……我們應該首先支持哪個領域?

　　進行全球優(yōu)先研究的學者提出了一個名為 INT 的研究框架。 INT

分別指重要/被忽視/可處理。根據(jù)INT框架，對于一組需要優(yōu)先解決的問題，三個三個考慮：

　　這個問題重要嗎?

　　這個問題是否受到廣泛關注?

　　這個問題能解決嗎?

　　根據(jù)這個框架，一個問題越重要，就越容易解決，而被忽視的范圍越廣，一個問題的優(yōu)先級就越高。這個框架經(jīng)常被用來解決一些公益性的安排，論文作者用一些數(shù)學和經(jīng)濟術語定義了這個框架，從而用它來評估NLP技術的研究優(yōu)先級。

　　首先是重要性程度，作者用它來衡量一項技術的預期社會影響，其中包括研究人員研究該技術的成功概率。它指的是技術的社會影響。筆者認為，成功的概率是衡量重要程度的一個重要部分，因為大量的技術可能不會成功，即使它們有望對社會產(chǎn)生非常積極的影響。

　　二是關注程度和解決問題的難度，作者借用經(jīng)濟學中的邊際收益來衡量這兩個維度，定義為：

　　其中，代表研究人員每增加單位資源投入技術所獲得的邊際收益，即技術的社會影響，即當前技術進步代表研究人員投資單位資源所能帶來的技術進步在技術上。

　　這個定義表明，如果相關技術領域已經(jīng)飽和，那么盲目投入資源和時間來研究這個問題是不明智的。另一方面，如果這個領域具有很高的重要性，但長期被研究人員忽視，那么推動這個研究的邊際收益將是非常大的。這在一定程度上解釋了為什么研究人員熱衷于創(chuàng)建一個全新的研究領域來進行研究。

　　最后，作者引入了機會成本的概念來描述在不同技術之間進行選擇的成本。這個概念是試圖表達研究人員使用資源而不是其他技術造成的潛在損失。比如我學習綠色NLP，就等于放棄了學習對話系統(tǒng)和機器翻譯的機會。作者定義：

　　其中，代表研究人員的技術機會成本，代表研究人員對研究最優(yōu)技術的邊際收益，其中：

　　這意味著研究人員擁有最大可能的余量

有效的替代技術。因此，這個定義強調不僅要做“好事”，還要做“最好的事”，因為有時“好事”意味著極高的機會成本。

　　最重要的關注領域是什么?

　　本文主要基于ACL 2020，論文作者首先按照上述四階段分類方法對ACL 2020文章進行了分類，并進行了國家統(tǒng)計，如下圖所示：

　　\n

　　就出版物數(shù)量而言，美國和中國是我們應盡的職責的前兩位。但是第一階段，也就是基礎理論論文的發(fā)表，第一階段主要集中在語言理論之上，很可能我們語言理論的研究還沒有在ACL上發(fā)表英文版。

　　作者在對論文進行分類后，采用人工標注的方法，結合上述評價框架，從ACL

2020的570篇文章中，對評價為具有良好社會效益的89篇文章進行了標注。這個89篇文章被歸類為具有良好社會效益的NLP領域標簽，如減少偏見、改善教育、促進平等、消除欺詐、綠色環(huán)保、醫(yī)療、可解釋性、法律適用、低資源學習、心理健康、健壯等。

　　從結果中，我們可以看到大多數(shù)論文都致力于可解釋性、錯誤信息消除和醫(yī)療保健。從國別來看，美國學者對模型可解釋性做了大量的研究，而中國學者對模型可解釋性的研究很少。美國學者很少關注教育水平的提高和法律的適用，而印度學者很少關注消除錯誤信息的領域。

　　從ACL

2020發(fā)表的論文表現(xiàn)來看，自然語言處理技術在提高社會效益這個極其雄心勃勃的話題上并沒有給出令人滿意的答案。例如，教育是聯(lián)合國可持續(xù)發(fā)展目標中第四重要的領域，但

NLP 技術很少涉及該領域。

　　事實上，造成這種現(xiàn)狀的原因之一是 NLP

研究人員的資金往往不是來自一些非常關注社會福利的組織。就算想想，我們對NLP這個研究領域的研究路徑也是基礎我們從來沒有經(jīng)歷過老板給我們500萬的階段，讓我們仔細想想先研究什么，然后研究什么，而不是提及優(yōu)先評估框架，以評估不同領域的社會影響及其重要程度。

　　那么我們應該怎么做呢?論文作者認為，在進行研究之前，我們應該回答以下五個問題：

　　什么樣的人會從這項技術中受益?

　　這項技術可以幫助哪些弱勢群體?

　　這項技術是否有助于實現(xiàn)一兩個聯(lián)合國可持續(xù)發(fā)展目標?

　　這項技術能否改善人們的生活質量?

　　這項技術會給人們帶來哪些問題?

　　例如，對于機器翻譯，機器翻譯將使其他語言的用戶受益(Q1)，并有助于縮小第二語言使用者與母語使用者之間的差距(Q2)。機器翻譯技術可以直接改善信息，知識共享可以廣泛應用于高質量教育、體面工作和全球合作伙伴(Q3)。機器翻譯可以被認為是直接提高人們的社會素質(Q4)，但它可能會擴大經(jīng)濟條件佩戴智能設備與沒有經(jīng)濟條件的人(Q5)之間的差距，因此我們可以將其視為這對社會有好處。

　　基于這個自檢框架，作者總結了具有良好社會效益的NLP研究課題，并針對每個課題提出如下研究方向。例如，將NLP技術用于殘疾學生的教育，使用NLP技術。為表達障礙者制作輔助語音，對氣候變化認知的跨文化研究等具有重要的現(xiàn)實意義。

　　概括

　　本文為NLP技術的社會效益定性分析開了個好頭。正如作者所說，他們的目標不是確定自然語言處理技術的社會效益。答案是，在自然語言處理技術開始從科學研究領域進入大眾生活的這個轉折點，嘗試向全面了解自然語言處理技術的社會意義邁出一小步。

　　隨著自然語言處理和工業(yè)應用研究的成熟，對一項技術的社會意義的清醒和高層次的理解是必不可少的。我們的研究不能局限于哪些領域有利于發(fā)展。

，什么技術容易做，還要在動機層面實現(xiàn)真正的“研究意義”。正如我們從學校到企業(yè)都了解這項技術的商業(yè)意義一樣，研究也需要一個過程來了解這項技術目前和潛在的社會意義。

　　計算機科學是一門典型的應用學科。在刻板印象中，計算機領域的程序員或研究人員往往沒有與世界相似的理想和目標。整個領域往往被粗略地定義為“學習”“盈利”商品。我們可以看到，法律學習者站在法律的最大社會效益的背景下，維護正義，而醫(yī)學學習者則更加樂觀，討論NLP的社會效益，在平凡的密碼背后，隱藏著一些超然的意義和動力，帶著“我有一個夢想”的浪漫，投身于這個領域的平凡與輝煌。