原文作者：Figure Eight
原文地址：The 2018 Data Scientist Report
中文版高清PDF下載：2018年數(shù)據(jù)科學(xué)家報(bào)告
簡(jiǎn)介
近年來(lái)，F(xiàn)igure Eight一直在追蹤數(shù)據(jù)科學(xué)的發(fā)展，自2015年發(fā)布上一版數(shù)據(jù)科學(xué)報(bào)告以來(lái)（那時(shí)我們還叫CrowdFlower），數(shù)據(jù)科學(xué)社區(qū)里發(fā)生了很多變化。機(jī)器學(xué)習(xí)技術(shù)蓬勃發(fā)展，需要越來(lái)越多的數(shù)據(jù)支持。
如今，互聯(lián)網(wǎng)每天會(huì)產(chǎn)出100萬(wàn)億字節(jié)以上的數(shù)據(jù)供數(shù)據(jù)科學(xué)與機(jī)器學(xué)習(xí)分析。因此，數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)也順勢(shì)成為領(lǐng)英上增長(zhǎng)最快的工作崗位。
2015年以來(lái)出現(xiàn)的另一大趨勢(shì)是數(shù)據(jù)科學(xué)社區(qū)比以往更加注重倫理問(wèn)題，數(shù)據(jù)隱私問(wèn)題越來(lái)越引人注目。隨著人工智用于醫(yī)學(xué)診斷、法律量刑等領(lǐng)域的決策，需要更加謹(jǐn)慎地論證這些倫理問(wèn)題。
了解各領(lǐng)域從業(yè)者對(duì)前沿技術(shù)的想法十分重要。為此，我們調(diào)研了醫(yī)護(hù)人員、神職人員及執(zhí)法人員等500多位倫理專家。
本報(bào)告后面的內(nèi)容，還將專門對(duì)比倫理專家與數(shù)據(jù)科學(xué)家的觀點(diǎn)。
毋庸贅言，開(kāi)始閱讀本報(bào)告的調(diào)研結(jié)果吧。
數(shù)據(jù)科學(xué)家不但喜歡還熱愛(ài)這份工作
認(rèn)為自己幸福和非常幸福的數(shù)據(jù)科學(xué)家
相信很多人都聽(tīng)過(guò)一句話，“干自己喜歡的事，還能掙到錢，就算成功”。假設(shè)這話說(shuō)的沒(méi)錯(cuò)，還真的很難找出比數(shù)據(jù)科學(xué)家更成功的職業(yè)。
幾年來(lái)，我們一直在跟蹤這個(gè)問(wèn)題，并發(fā)現(xiàn)數(shù)據(jù)科學(xué)家非常熱愛(ài)這一行，即便真正的數(shù)據(jù)科學(xué)家可能會(huì)質(zhì)疑1%的增長(zhǎng)不具備統(tǒng)計(jì)顯著性。
熱愛(ài)數(shù)據(jù)科學(xué)？就別錯(cuò)過(guò)機(jī)會(huì)
這幾年，數(shù)據(jù)與數(shù)據(jù)科學(xué)帶來(lái)了很多熱門話題，谷歌人工智能專家Peter Norvig曾提出著名的“數(shù)據(jù)非理性效果”理論，哈佛商業(yè)評(píng)論將數(shù)據(jù)科學(xué)家稱為“21世紀(jì)最性感的工作”，經(jīng)濟(jì)學(xué)家雜志甚至說(shuō)“數(shù)據(jù)是新的石油”。相信大多數(shù)人還記得大數(shù)據(jù)一夜之間就紅遍全球了。
數(shù)據(jù)科學(xué)家的市場(chǎng)需求
收到工作機(jī)會(huì)的頻率
雖然，數(shù)據(jù)科學(xué)如今炙手可熱，但要記住以前可不是這樣。畢竟，僅僅在10多年前，大部分公司根本就不會(huì)跟蹤并保存用戶交互數(shù)據(jù)，但是如今，還是這些公司，他們會(huì)把認(rèn)真采集這些數(shù)據(jù)，并將之作為企業(yè)的核心財(cái)富小心翼翼的看護(hù)起來(lái)。
隨著服務(wù)器越來(lái)越廉價(jià)，以低成本存貯大量數(shù)據(jù)和信息成為可能，絕大多數(shù)公司都意識(shí)到數(shù)據(jù)能實(shí)現(xiàn)很多以前無(wú)法想象的目標(biāo)。
既然有這么多數(shù)據(jù)需要處理，而且為公司創(chuàng)造價(jià)值的意愿又如此強(qiáng)烈。這樣一來(lái)，數(shù)據(jù)科學(xué)家有這么高的市場(chǎng)需求就不足為奇了。
我們?cè)稍償?shù)據(jù)科學(xué)家一般多久能收到一次新工作推薦，下圖所示的數(shù)據(jù)說(shuō)明了不少問(wèn)題。大約50%的數(shù)據(jù)科學(xué)家每周都會(huì)收到一次工作機(jī)會(huì)，30%的數(shù)據(jù)科學(xué)家每周至少會(huì)收到多次工作機(jī)會(huì)，85%的數(shù)據(jù)科學(xué)家至少每個(gè)月會(huì)收到一次工作機(jī)會(huì)。
換句話說(shuō)，精英數(shù)據(jù)科學(xué)家的市場(chǎng)需求很高。所以，如果你們公司有一名水平很高的數(shù)據(jù)科學(xué)家，一定要把他哄好，因?yàn)樗€有很多選擇。
什么拖了數(shù)據(jù)科學(xué)家的后腿，是數(shù)據(jù)，不是科學(xué)
偷偷告訴大家一個(gè)關(guān)于數(shù)據(jù)科學(xué)家的小秘密，他們都非常貪得無(wú)厭。這不是說(shuō)他們的壞話，實(shí)際上，很多數(shù)據(jù)科學(xué)家逢年過(guò)節(jié)都會(huì)寄給我們非常不錯(cuò)的禮物。但是，一旦涉及到數(shù)據(jù)，不管他們已經(jīng)掌握了多少數(shù)據(jù)，還永遠(yuǎn)都覺(jué)得不夠。
我們已經(jīng)在數(shù)據(jù)科學(xué)社區(qū)里做了幾年調(diào)研，這個(gè)問(wèn)題依然是當(dāng)前社區(qū)里最大的挑戰(zhàn)。去年大約有50%的數(shù)據(jù)科學(xué)家會(huì)說(shuō)，這是他們?nèi)粘９ぷ髦凶铑^疼的三件事之一，而到了今年這個(gè)數(shù)字已經(jīng)增長(zhǎng)到了55%，并被列為最頭疼的事情。
數(shù)據(jù)專家非常清楚只有擁有大規(guī)模的高質(zhì)量數(shù)據(jù)，才能建立精準(zhǔn)的模型，并作出精明的決策。高質(zhì)量數(shù)據(jù)越多，他們對(duì)所做的模型就越有信心。
公司能為數(shù)據(jù)科學(xué)家做的事就是提供數(shù)據(jù)，而機(jī)器學(xué)習(xí)團(tuán)隊(duì)擁有的數(shù)據(jù)質(zhì)量會(huì)為機(jī)器學(xué)習(xí)的結(jié)果帶來(lái)極大的區(qū)別，這一點(diǎn)是重中之重。
但是請(qǐng)記住，數(shù)據(jù)科學(xué)家需要的是高質(zhì)量數(shù)據(jù)，通過(guò)幾年的調(diào)研發(fā)現(xiàn)，其實(shí)，數(shù)據(jù)科學(xué)家也非常不喜歡清洗數(shù)據(jù)，他們認(rèn)為干這些事情純屬是在浪費(fèi)生命。
機(jī)器學(xué)習(xí)使用的數(shù)據(jù)
以前，我們從未問(wèn)過(guò)數(shù)據(jù)科學(xué)家到底拿數(shù)據(jù)來(lái)干什么？但是，隨著公司平臺(tái)不斷壯大，我們已經(jīng)能夠解開(kāi)一些機(jī)器學(xué)習(xí)的神秘面紗，越來(lái)越多的數(shù)據(jù)直接從我們公司的平臺(tái)傳遞給各種人工智能和機(jī)器學(xué)習(xí)的項(xiàng)目。然后我們就想，是不是應(yīng)該問(wèn)一下這些數(shù)據(jù)科學(xué)家，他們所做的工作到底有多少比例用于人工智能？
約有10%的數(shù)據(jù)科學(xué)家說(shuō)他們的工作跟人工智能無(wú)關(guān)。不過(guò)，還有差不多40%的人說(shuō)他們的工作和人工智能相關(guān)。
考慮到當(dāng)前投資界對(duì)人工智能的投入非常之大，我們特別期待看到明年這個(gè)數(shù)字會(huì)變成什么樣。不過(guò)，我們相信一定會(huì)變得越來(lái)越高。
數(shù)據(jù)科學(xué)家一般不需要干清洗日志這樣的低級(jí)工作，基本上都是處理公司里最尖端的技術(shù)解決方案，難怪他們會(huì)覺(jué)得幸福。
多少時(shí)間研發(fā)，多少時(shí)間開(kāi)發(fā)？
數(shù)據(jù)科學(xué)家使用哪些工具？
2015年，我們重點(diǎn)關(guān)注數(shù)據(jù)科學(xué)家使用什么工具。雖然，當(dāng)時(shí)Excel還是處理數(shù)據(jù)的主流工具，但那時(shí)已經(jīng)出現(xiàn)了很多數(shù)據(jù)工具和處理辦法供數(shù)據(jù)科學(xué)家選擇。實(shí)際上，Partially Derivative公司在一集叫“怪怪的數(shù)據(jù)科學(xué)”播客節(jié)目里就提到過(guò)這個(gè)問(wèn)題。
他們的觀點(diǎn)是數(shù)據(jù)科學(xué)是嶄新的領(lǐng)域，沒(méi)有哪種語(yǔ)言、工具或框架可以成為主流，即便現(xiàn)在也很難說(shuō)哪種工具是最好的，數(shù)據(jù)科學(xué)家必須具備非凡的創(chuàng)造力，找出適于處理手頭上數(shù)據(jù)科學(xué)項(xiàng)目的最佳工具和策略。
現(xiàn)在機(jī)器學(xué)習(xí)與數(shù)據(jù)科學(xué)當(dāng)時(shí)的情況差不多，也沒(méi)有大家公認(rèn)可行的策略，但是有很多方法供人選擇，用于處理以前難以解決的問(wèn)題。不過(guò)，現(xiàn)在數(shù)據(jù)科學(xué)社區(qū)里大部分人（約61%）都選擇了Python。但是，下面列出的常用Python庫(kù)大多數(shù)并不是機(jī)器學(xué)習(xí)框架。
開(kāi)源軟件占這些工具和框架的主流。Pandas和NumPy已經(jīng)推出了很長(zhǎng)時(shí)間，此外，與之類似的還有Scikit-Learn和Matplotlib，也是老牌的Python庫(kù)。
TensorFlow雖然是谷歌開(kāi)發(fā)的，不過(guò)它也是開(kāi)源軟件。這里需要提醒的是，不能只根據(jù)數(shù)量進(jìn)行判斷，但另一方面，這些工具的用戶確實(shí)很多，也說(shuō)明了現(xiàn)在數(shù)據(jù)科學(xué)社區(qū)熱捧開(kāi)源和社區(qū)驅(qū)動(dòng)的軟件。
由于這些框架已經(jīng)存在了很長(zhǎng)時(shí)間，早期使用者已經(jīng)對(duì)它們非常熟悉，如果新產(chǎn)品想取代這些老牌開(kāi)源軟件，恐怕還需要投入更多的時(shí)間、努力，并大力開(kāi)展市場(chǎng)推廣，比如增加更多的營(yíng)銷費(fèi)用。
2018年，數(shù)據(jù)科學(xué)家處理哪些數(shù)據(jù)？
今年，媒體關(guān)注的重點(diǎn)是自動(dòng)駕駛汽車或家庭助理等機(jī)器學(xué)習(xí)項(xiàng)目，但必須意識(shí)到絕大多數(shù)數(shù)據(jù)科學(xué)家處理的數(shù)據(jù)并非激光雷達(dá)和音頻話語(yǔ)數(shù)據(jù)。
我們采訪了不少數(shù)據(jù)科學(xué)家，發(fā)現(xiàn)日常工作中他們還是以處理文本和時(shí)間序列數(shù)據(jù)為主。很少涉及感知器、音頻和視頻數(shù)據(jù)，相對(duì)而言，排名第四位的是靜態(tài)圖片。
處理結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的比例？
數(shù)據(jù)科學(xué)倫理問(wèn)題
近年來(lái)，人工智能應(yīng)用的倫理問(wèn)題被炒得熱火朝天，僅我們就了解到大量關(guān)于人臉識(shí)別、招聘審核和聲音助理等子領(lǐng)域的算法歧視案例。去年，最高法院曾有機(jī)會(huì)處理一樁關(guān)于算法量刑的案件（詳見(jiàn)盧米斯訴威斯康星州一案），但最高法院沒(méi)有受理此案，雖然如此，也可以推斷10年內(nèi)很有可能出現(xiàn)關(guān)于機(jī)器學(xué)習(xí)的判例。
本文并不關(guān)心遠(yuǎn)期的，諸如未來(lái)特工、普世智能等帶有科幻色彩的，甚至有關(guān)意識(shí)邊界的倫理問(wèn)題，現(xiàn)實(shí)問(wèn)題涉及的領(lǐng)域才是當(dāng)今大眾真正關(guān)心的內(nèi)容，本文關(guān)注的是這類倫理問(wèn)題。
之前曾說(shuō)過(guò)，本次調(diào)研采訪了醫(yī)護(hù)人員、神職人員及執(zhí)法人員等各行業(yè)的倫理專家。在這一節(jié)里，我們會(huì)把他們的觀點(diǎn)與數(shù)據(jù)科學(xué)家的觀點(diǎn)進(jìn)行對(duì)比。
一般來(lái)說(shuō)，數(shù)據(jù)科學(xué)家都看好人工智能的發(fā)展。兩組專家都認(rèn)為人工智能利大于弊，他們之間最大的差異在于倫理專家對(duì)人工智能可能會(huì)給社會(huì)帶來(lái)的潛在挑戰(zhàn)漠不關(guān)心，這一點(diǎn)倒也說(shuō)的通。畢竟，大家都知道數(shù)據(jù)科學(xué)家肯定比法官對(duì)人工智能了解得更深刻。
數(shù)據(jù)科學(xué)家就身處這個(gè)領(lǐng)域，為人工智能的發(fā)展投入了頗多精力，因此，要說(shuō)數(shù)據(jù)科學(xué)家認(rèn)為人工智能不會(huì)給社會(huì)帶來(lái)翻天覆的變化，那是不可能的。
還不承認(rèn)算法歧視？
上一節(jié)里，我們提到了一些非常知名的算法歧視案例。實(shí)際上，麻省科技評(píng)論最近就提出了“算法歧視已經(jīng)遍地都是，但是大家對(duì)此都漠不關(guān)心”的觀點(diǎn)。
但是，當(dāng)我們問(wèn)及數(shù)據(jù)科學(xué)家與倫理專家是否認(rèn)為人工智能比人類更容易產(chǎn)生歧視時(shí)，得到的答復(fù)是這樣的：
其實(shí)，大家都知道對(duì)比技術(shù)是否比人類更容易產(chǎn)生歧視這個(gè)問(wèn)題本身就非?；?，這基于你對(duì)人類本性的認(rèn)識(shí)。歸根結(jié)底，算法歧視源于人類程序員、數(shù)據(jù)及一些不可言的原因。
但有趣的是，很多反饋都說(shuō)算法沒(méi)有那么多歧視，甚至根本就不存在歧視，然而不管怎么說(shuō)，我們手里確實(shí)有大量現(xiàn)實(shí)中已經(jīng)發(fā)生的算法歧視案例。
我們真正要解決的問(wèn)題是到底為什么會(huì)出現(xiàn)這樣的結(jié)果？要知道在大部分情況下，不是算法模型本身的問(wèn)題，而是模型使用的數(shù)據(jù)有問(wèn)題。
算法模型的歧視是潛在、無(wú)意識(shí)的，但又是真實(shí)存在的，要解決這個(gè)問(wèn)題需要花費(fèi)大量的精力，還要對(duì)癥下藥，首先，標(biāo)注數(shù)據(jù)時(shí)要認(rèn)真負(fù)責(zé)，不偏不倚；然后，還要通過(guò)不斷更新數(shù)據(jù)對(duì)模型進(jìn)行迭代；并且還要站在最終用戶的角度來(lái)思考問(wèn)題。
現(xiàn)實(shí)世界中，人工智能到底能干什么
現(xiàn)在，絕大多數(shù)的互聯(lián)網(wǎng)用戶每天都會(huì)用到人工智能。產(chǎn)品和娛樂(lè)內(nèi)容推薦、搜索引擎、新聞推薦，你能想到的基本上都有：機(jī)器學(xué)習(xí)的應(yīng)用已經(jīng)擴(kuò)展到越來(lái)越多的領(lǐng)域。
怎么說(shuō)呢？實(shí)際上，大部分?jǐn)?shù)據(jù)科學(xué)家覺(jué)得人工智能參與決策這件事很正常。事情越復(fù)雜，數(shù)據(jù)科學(xué)家就會(huì)覺(jué)得越不舒服。
雖然在一些無(wú)關(guān)緊要的場(chǎng)景下，人工智能的應(yīng)用已經(jīng)取得成功。但是，在涉及重大的關(guān)鍵性問(wèn)題時(shí)，目前人工智能所取得的成果還不足以讓人給出肯定的答案?，F(xiàn)在只能說(shuō)，數(shù)據(jù)科學(xué)家還沒(méi)有那么大的胃口，將人工智能應(yīng)用于社會(huì)的每個(gè)角落。如果人工智能專家要推行更穩(wěn)健或更理智的解決方案，大家最好靜下心來(lái)聽(tīng)聽(tīng)他們說(shuō)的到底是什么。
倫理：人工智能決策
下面哪些場(chǎng)合可以讓人工智能自行決策，無(wú)需人類干預(yù)。
用不用人工智能，這是個(gè)問(wèn)題
從現(xiàn)在開(kāi)始每過(guò)去一天，音頻交互界面都在變得越來(lái)越流行。Comscore公司預(yù)測(cè)2020年50%的搜索都將是語(yǔ)音搜索。其實(shí)即便現(xiàn)在，每個(gè)月都已經(jīng)差不多有10億條語(yǔ)音搜索了。但是，就算是最先進(jìn)的語(yǔ)音助手仍在與每天遇到的語(yǔ)音作斗爭(zhēng)。尤其是遇到說(shuō)話的人講的不是母語(yǔ)，或有口音、說(shuō)方言的時(shí)候，這個(gè)問(wèn)題就會(huì)愈發(fā)嚴(yán)重。
就此問(wèn)題，我們特意咨詢了相關(guān)數(shù)據(jù)科學(xué)家，希望了解如果推出家庭語(yǔ)音助理類產(chǎn)品，但該類產(chǎn)品又不能很好地理解口音和方言時(shí)，是不是仍要堅(jiān)持推出該類產(chǎn)品，還是說(shuō)要在該類產(chǎn)品上標(biāo)明警示，提醒哪些人不適用，或者是否有相關(guān)規(guī)定會(huì)限制該類產(chǎn)品在某些區(qū)域銷售。
坦白的說(shuō)，我們希望數(shù)據(jù)科學(xué)社區(qū)能夠推出這些產(chǎn)品。因?yàn)椴还茉趺凑f(shuō)，只有把這些產(chǎn)品銷售出去才能采集更多音頻話語(yǔ)數(shù)據(jù)，才能對(duì)該產(chǎn)品的數(shù)據(jù)模型進(jìn)行迭代，不斷改善這類產(chǎn)品的識(shí)別效果，從而使之能夠理解更多用戶的話語(yǔ)。但調(diào)查結(jié)果和我們想的并不一樣。
雖然，我們對(duì)這樣的結(jié)果感到驚訝，但這和之前的調(diào)研結(jié)果也非常契合，數(shù)據(jù)科學(xué)社區(qū)對(duì)人工智能的應(yīng)用非常謹(jǐn)慎。他們喜歡的事情搞得清清楚楚，然后再實(shí)施?；叵霐?shù)據(jù)科學(xué)社區(qū)對(duì)開(kāi)源平臺(tái)和開(kāi)源數(shù)據(jù)的熱愛(ài)，就會(huì)理解為什么他們會(huì)做出這樣的選擇。
對(duì)于自動(dòng)駕駛，雙方差異極大
我們問(wèn)了倫理專家和數(shù)據(jù)科學(xué)家一個(gè)非常簡(jiǎn)單的問(wèn)題。如果統(tǒng)計(jì)數(shù)據(jù)表明，最新的人工智能比人類駕駛汽車的平均安全系數(shù)更高，你是愿意自己駕車呢？還是愿意開(kāi)自動(dòng)駕駛汽車呢？
對(duì)于調(diào)研報(bào)告里面的其他內(nèi)容，兩組調(diào)研對(duì)象的反饋基本上都非常相似，總的來(lái)說(shuō)，他們都認(rèn)為人工智能利大于弊。即便是對(duì)于某些比較敏感的人工智能產(chǎn)品，也只需標(biāo)清哪些人適用，哪些人不適用就可以了。比如，大家普遍都能接受人工智能驅(qū)動(dòng)的產(chǎn)品推薦功能，對(duì)人工智能驅(qū)動(dòng)的貸款審批或案件裁決持保留態(tài)度。
但是對(duì)于自動(dòng)駕駛，兩組調(diào)研對(duì)象存在嚴(yán)重的兩極分化，這只能說(shuō)明數(shù)據(jù)科學(xué)家對(duì)無(wú)人駕駛技術(shù)的運(yùn)行機(jī)制比神職人員了解的更多。不過(guò)，我們確實(shí)沒(méi)有預(yù)料到兩極分化的情況會(huì)這么嚴(yán)重。我們現(xiàn)在還很難解釋清楚為什么兩組調(diào)研對(duì)象會(huì)有如此不同的反應(yīng)，但如果你所從事于自動(dòng)駕駛汽車行業(yè)，現(xiàn)在就應(yīng)該清楚你的營(yíng)銷對(duì)象是誰(shuí)了吧。
自動(dòng)駕駛，還是手動(dòng)駕駛？
報(bào)告背景
今年，我們通過(guò)郵件和現(xiàn)場(chǎng)訪談等形式采訪了240位數(shù)據(jù)科學(xué)家。
如需獲取2015年版數(shù)據(jù)科學(xué)報(bào)告，請(qǐng)到我司官網(wǎng)的資源中心下載。
公司簡(jiǎn)介
Figure Eight是為數(shù)據(jù)科學(xué)團(tuán)隊(duì)提供人際回圈型人工智能平臺(tái)的公司。我們?yōu)榭蛻舻臋C(jī)器學(xué)習(xí)模型提供高質(zhì)量的自定義訓(xùn)練數(shù)據(jù)，還為客戶提供易于部署、便于使用的人工智能模型，及整合人機(jī)回圈的工作流。
我司的軟件平臺(tái)支持包括自動(dòng)駕駛汽車、個(gè)人智能助理、醫(yī)療圖像分類、內(nèi)容分類、客戶支持票證分類、社交數(shù)據(jù)分析、CRM數(shù)據(jù)補(bǔ)值、產(chǎn)品分類及搜索相關(guān)性分析等眾多業(yè)務(wù)類型。
我司總部位于舊金山，投資者為Canvas創(chuàng)投、Trinity創(chuàng)投、微軟創(chuàng)投。Figure Eight是一家涉足多個(gè)行業(yè)，快速增長(zhǎng)的數(shù)據(jù)驅(qū)動(dòng)型公司，我們的客戶主要是財(cái)富500強(qiáng)公司的數(shù)據(jù)科學(xué)團(tuán)隊(duì)。
