上周摘要：進(jìn)化計(jì)算 (Evolutionary Computing) - 人工智能的下一個(gè)關(guān)鍵；威斯康星州的自動(dòng)化，越來越易于獲?。蝗绻夹g(shù)奇點(diǎn)并不是那么可怕，那我們目前做的這些AI風(fēng)險(xiǎn)防范，還有意義嗎；微軟，從移動(dòng)到AI；詞向量家族新成員，背景矢量CoVes；Facebook 翻譯后端，基于神經(jīng)網(wǎng)絡(luò)獲得更好的結(jié)果；利用AI防范盜竊 - 研究人員設(shè)計(jì)系統(tǒng)來預(yù)測哪些零售人員會(huì)從雇主身上進(jìn)行偷竊；利用簡單的網(wǎng)絡(luò)進(jìn)行近最先進(jìn)水準(zhǔn)的分類；Pytorch 2.0升級(jí)。

進(jìn)化計(jì)算 (Evolutionary Computing) - 人工智能的下一個(gè)關(guān)鍵：

...進(jìn)化計(jì)算有點(diǎn)像核聚變動(dòng)能技術(shù) - 專家們會(huì)一直告訴我們，如果給這個(gè)技術(shù)幾十年時(shí)間來發(fā)展的話，那么它就會(huì)改變世界。雖然進(jìn)化計(jì)算，到目前為止還沒有什么大的成果。
...但這并不意味著專家說的是錯(cuò)的 - 我們可以預(yù)料到的是，進(jìn)化計(jì)算中的各種方法將會(huì)產(chǎn)生巨大的影響。只是這些方法的效用，將與它們可使用的計(jì)算機(jī)數(shù)量密切相關(guān)。因?yàn)檫M(jìn)化計(jì)算方法的計(jì)算效率, 是比不上那些對(duì)世界進(jìn)行了更多假設(shè)的系統(tǒng)的。 （實(shí)際上，這方面已經(jīng)很清楚了，例如，OpenAI的進(jìn)化策略研究表明，可以用進(jìn)化計(jì)算來粗略地模擬DQN (強(qiáng)化學(xué)習(xí)) 在Atari 游戲上的表現(xiàn)- 它要花費(fèi)大概十倍多的計(jì)算量（但是由于可以進(jìn)行任意程度的并行化運(yùn)算，這并沒什么，只要你有錢付電費(fèi)就行。）
...在這篇文章中，研究人員概述了進(jìn)化計(jì)算方法，相比深度學(xué)習(xí)，有哪些優(yōu)勢。敲黑板：進(jìn)化計(jì)算擅長得出先前從來沒有過的全新的東西，進(jìn)化計(jì)算算法本質(zhì)上是分布式的，一些算法可以一次性優(yōu)化多個(gè)目標(biāo)，等等。
...閱讀更多關(guān)于的進(jìn)化計(jì)算論述：Evolutionary Computation: the next major transition inartificial intelligence?
...希望能看到，討論更多關(guān)于計(jì)算量權(quán)衡的問題。鑒于目前人們正在使用日趨復(fù)雜，高保真，數(shù)據(jù)豐富的仿真（MuJoCo / Roboschool / DeepMind Lab / 許多視頻游戲 / 基于Unity的無人機(jī)模擬器等），人們似乎將在一段時(shí)間內(nèi)對(duì)計(jì)算效率給予高度關(guān)注。 而進(jìn)化計(jì)算方法似乎更適合于數(shù)據(jù)稀少的環(huán)境，或者是那些可以使用大量計(jì)算機(jī)來計(jì)算的土豪們。

威斯康星州的機(jī)器人與自動(dòng)化：

... 關(guān)于威斯康星州一個(gè)部署機(jī)器人 (目前還只有兩臺(tái)，之后還會(huì)更多) 的工廠的長篇報(bào)道，來自 Hirebotics - 'collaborative robots to rent' 。這樣做提高了可靠性，還可能節(jié)省成本。這個(gè)故事的主要告訴了我們，過去尋求解決勞動(dòng)力短缺的工廠，要么擱置其擴(kuò)張計(jì)劃，要么提高工資招更多人。現(xiàn)在他們有了第三個(gè)選擇：自動(dòng)化。隨著安裝工業(yè)機(jī)器人價(jià)格的下降，你可以做到進(jìn)一步的自動(dòng)化。
... 更多: 華盛頓日?qǐng)?bào)

為什么要做AI風(fēng)險(xiǎn)防范？如不存在一個(gè)硬起飛技術(shù)奇點(diǎn)的話，那就可能沒有任何意義：

技術(shù)奇點(diǎn)： 認(rèn)為隨著技術(shù)發(fā)展特別是AI技術(shù)的發(fā)展，在未來某個(gè)時(shí)間點(diǎn)，技術(shù)發(fā)展會(huì)在很短時(shí)間內(nèi)發(fā)生極大，而接近無限的進(jìn)步。當(dāng)這個(gè)轉(zhuǎn)折點(diǎn)來臨時(shí)，就得社會(huì)模式不復(fù)存在，新的規(guī)則主宰世界。而后人類時(shí)代的智能和技術(shù)是我們無法理解的，就像金魚無法理解人一樣。

...這是Em Age的作者Robin Hanson所提出的。 Hanson說，現(xiàn)在可以看到，人們開始AI風(fēng)險(xiǎn)研究唯一合理的原因是，為了避免了一個(gè)硬起飛場景（即FOOM，系統(tǒng)進(jìn)行爆炸式的自我進(jìn)化), 也就是說，一個(gè)團(tuán)隊(duì)，開發(fā)了一個(gè)能夠自我進(jìn)化的AI系統(tǒng)，對(duì)于某項(xiàng)任務(wù)的能力，它將比世界上剩余此類系統(tǒng)的總和都要強(qiáng)。
... Hanson說，F(xiàn)OOM方案的一個(gè)站不住腳的地方是，它需要一個(gè)組織設(shè)計(jì)一個(gè)AI，對(duì)于地球上其他所有人來說壓倒性的優(yōu)勢。 “請(qǐng)注意，由于這種局部的快速發(fā)展，而去相信最終的機(jī)器將非常聰明，甚至比人類更聰明，是不行的。我們也沒有道理，去相信智能機(jī)器的世界比今天增長和創(chuàng)新得更快。另外還要提的是，通過提高內(nèi)部自我提升能力，最初很小的一個(gè)AI團(tuán)隊(duì)的能力，可能會(huì)快速地超過世界其他地方，包括其他類似的團(tuán)隊(duì)?！?br> ...如果這些所謂的FOOM方案是很有可能的話，那么目前關(guān)鍵點(diǎn)事，為與AI風(fēng)險(xiǎn)相關(guān)的事物，開發(fā)出一個(gè)廣闊而又深入的全球技能庫。如果這些FOOM方案不太可能的話，那么世界現(xiàn)有的流程 - 法律制度，國家，競爭性市場 - 可能會(huì)自然而然地處理掉這些人工智能安全問題。
... 更多：'Foom justifies AI risk effortsnow'.
... 如果其中一些想法讓你腦袋轉(zhuǎn)不過來的話，那么可以試試讀讀這本730頁的電子書，收錄了Hanson和MIRI的Eliezer Yudkowsky之間在各種辯論。

微軟改變了其重心：從移動(dòng)端到AI

... Microsoft Form 10K 2017：愿景：“我們的戰(zhàn)略是，為智能云以及融入了AI的智能邊緣，創(chuàng)建一流的平臺(tái)和生產(chǎn)力服務(wù)。
... Microsoft Form 10K 2016：愿景：“我們的戰(zhàn)略是，為一個(gè)移動(dòng)優(yōu)先和云優(yōu)先的世界，打造一流的平臺(tái)和生產(chǎn)力服務(wù)。

詞表達(dá)再利用，由 ImageNet 來的啟發(fā)...

... Salesforce的AI研究機(jī)構(gòu)，發(fā)現(xiàn)了一種相對(duì)簡單的方法來提高用于文本分類的神經(jīng)網(wǎng)絡(luò)的性能：首先，獲取在某項(xiàng)任務(wù)（如機(jī)器翻譯）訓(xùn)練期間生成的隱藏矢量，然后將這些背景矢量 (Context Vector) CoVes 饋送到另一個(gè)為其他自然語言處理任務(wù)而設(shè)計(jì)的網(wǎng)絡(luò)去。
...這個(gè)想法是，這些向量可能包含有語言的有用信息，新的網(wǎng)絡(luò)可以在訓(xùn)練過程中，使用這些向量來提高對(duì)某些任務(wù)的直覺性回答。
...結(jié)果：雖然這可能只是一個(gè)“加點(diǎn)水”的技術(shù) - 但在各種不同任務(wù)與數(shù)據(jù)集的神經(jīng)網(wǎng)絡(luò)的測試中，在使用GloVe和CoVe輸入組合后，顯示出2.5％和16％ (!) 之間的改善。進(jìn)一步實(shí)驗(yàn)表明，通過在輸入添加字符向量，某些任務(wù)可以進(jìn)一步性能提升。但不足的是，這種系統(tǒng)的總體流程似乎相當(dāng)復(fù)雜，因此具體實(shí)現(xiàn)會(huì)很有挑戰(zhàn)性。
... Salesforce在說明如何產(chǎn)生CoVe輸入的博文中，發(fā)布了其表現(xiàn)最好的機(jī)器翻譯LSTM系統(tǒng)代碼。GitHub上獲取代碼。

Facebook將其ENTIRE翻譯后端，從基于短語的轉(zhuǎn)換為了基于神經(jīng)網(wǎng)絡(luò)的翻譯：

... Facebook已將其整個(gè)翻譯基礎(chǔ)設(shè)施移向了神經(jīng)網(wǎng)絡(luò)后端。它能處理2000多個(gè)不同的翻譯方向（比如德語到英語是一個(gè)方向，英語到德語將是另一個(gè)），每天大概處理45億個(gè)不同的翻譯。
... 組件：Facebook使用了序列到序列的LSTM網(wǎng)絡(luò)。該系統(tǒng)在Caffe2中實(shí)現(xiàn)，Caffe2是由Facebook部分參與開發(fā)的AI框架（與Google TensorFlow，Microsoft CNTK，Amazon MXNet等進(jìn)行競爭）。
...結(jié)果：部署此系統(tǒng)后，F(xiàn)acebook的BLEU (一種機(jī)器翻譯的自我評(píng)估的方法) 評(píng)分上升了11％
... 在code.facebook.com閱讀更多

利用AI防范盜竊 - 研究人員設(shè)計(jì)系統(tǒng)來預(yù)測哪些零售人員會(huì)進(jìn)行偷竊：

...懷俄明大學(xué)的研究表明，如何將AI用于分析與零售人員相關(guān)的數(shù)據(jù)的話，這有助于雇主預(yù)測哪些人最有可能進(jìn)行偷竊。
...數(shù)據(jù)：為了進(jìn)行研究，研究人員獲得了一個(gè)數(shù)據(jù)集，其中包含了大量的主要零售流程中收銀員活動(dòng)的30維特征圖。這些特征包括收銀員和商店識(shí)別號(hào)以及,其他未指定的數(shù)據(jù)點(diǎn)?？傮w而言，研究人員收到了超過1,000個(gè)離散批次的數(shù)據(jù)，每批可能包含多個(gè)收銀員的信息。
...研究人員使用三種不同的技術(shù)分類數(shù)據(jù)：主成分分析（PCA），t分布隨機(jī)相鄰嵌入（t-SNE）和自組織特征圖（SOFM）。 （PCA和t-SNE是目前已發(fā)展很完善的降維技術(shù)，而SOFM還有點(diǎn)模糊，它使用神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)能與t-SNE相比的可視化，并提供對(duì)可視化的檢查。）
...每個(gè)分類過程都是以無監(jiān)督的方式進(jìn)行的，因?yàn)檠芯咳藛T缺乏完全標(biāo)注了的數(shù)據(jù)。
...其他數(shù)據(jù)特征包括：優(yōu)惠券占總交易的百分比，總銷售額，退款數(shù)量的計(jì)數(shù)以及收銀員與特定信用卡互動(dòng)次數(shù)的計(jì)數(shù)等。
...研究人員最終發(fā)現(xiàn)SOFM能夠捕捉到更難以描述的特征信息，并且更容易可視化。下一步是采取正確標(biāo)記了的數(shù)據(jù)，以提供更好的預(yù)測功能。之后，我預(yù)計(jì)我們會(huì)看到其在商鋪中的初步試驗(yàn)，雇主會(huì)進(jìn)一步壓制低收入雇員欺騙雇主的能力。

客觀來說，減少盜竊是好的，但它也說明了AI可以如何為雇主提供一個(gè)前所未有的監(jiān)督和控制能力 (1984?)。這不由提起了一個(gè)問題，一個(gè)能夠接受少許盜竊，并更輕松一些的工作環(huán)境是更好一些，還是更差呢？

...閱讀更多： Assessing Retail Employee Risk Through UnsupervisedLearning Techniques

PyTorch 升級(jí)2.0：

... Facebook發(fā)布了2.0版的PyTorch，其功能豐富。 最有趣的是分布式PyTorch，它可以讓張量分布到多臺(tái)機(jī)器。
...在GitHub的發(fā)行說明中閱讀更多內(nèi)容。

... (于是1的document都還沒讀完，捂臉)

保持傻白甜！使用簡單網(wǎng)絡(luò)進(jìn)行接近最先進(jìn)水準(zhǔn)的分類：

...隨著人工智能在應(yīng)用方面的發(fā)展，開發(fā)人員越來越試圖為神經(jīng)網(wǎng)絡(luò)系統(tǒng)減肥了，以便能夠在個(gè)人手機(jī)上就能運(yùn)行，而且不用大量占用計(jì)算資源。這種趨勢促使Google研究人員考慮，如何在不使用（計(jì)算上昂貴的）LSTM或深層RNN方法這些流行方法基礎(chǔ)上，來處理一整套語言任務(wù) - 詞性標(biāo)注，語言識(shí)別，分詞，統(tǒng)計(jì)機(jī)器翻譯的前處理。

...結(jié)果：他們的方法在一系列任務(wù)中獲得了很好的SOTA成績，同時(shí)具有最多占用在3 Mb，通常在幾百kb的內(nèi)存占用優(yōu)勢。
...那么意味著什么呢？ “雖然在條件允許情況下，大型和深層次的模型可能是最準(zhǔn)確的。但是簡單的前饋網(wǎng)絡(luò)，可以在運(yùn)行時(shí)間和內(nèi)存方面提供更大的優(yōu)勢，我們應(yīng)該以其作為一個(gè)基準(zhǔn)?！?br> ...閱讀更多：Natural Language Processing withSmall Feed Forward Networks.
...其他方面，除了Google已經(jīng)開始實(shí)現(xiàn)它在論文中所講的外。一個(gè)傾向于對(duì)AI的未來做出一些很大的宣傳的AI未來主義者 Ray Kurzweil （有良好的記錄 :joy:），正在領(lǐng)導(dǎo)著一個(gè)團(tuán)隊(duì)，該公司的任務(wù)是，基于Ray自己關(guān)于大腦工作原理的理論，搭建出更好的語言模型。迄今為止，他們已經(jīng)開發(fā)出了一個(gè)更加具有計(jì)算效率的類似 Smart Reply 的服務(wù)。Smart Reply 是Google構(gòu)建的一個(gè)會(huì)自動(dòng)生成，并建議對(duì)電子郵件回復(fù)的服務(wù)。在連線雜志中閱讀更多。