發(fā)簡(jiǎn)信
IP屬地：山東
-
-
朱小虎 Neil Zhu，University AI / CSAGI 創(chuàng)始人
-
TensorFlowOnSpark 源碼解析
前言 這兩天琢磨了下spark-deep-learning和spark-sklearn兩個(gè)項(xiàng)目，但是感覺(jué)都不盡人如意。在training時(shí)，都需要把數(shù)據(jù)broadcast到各...
-
新博客地址： <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.zhihu.com%2Fpeople%2Fallwefantasy" target="_blank">https://www.zhihu.com/people/allwefantasy</a>
-
@祝威廉 17年美團(tuán)云做深度學(xué)習(xí)平臺(tái)，用了這個(gè)項(xiàng)目，但用的時(shí)候都改的不像樣子，后來(lái)給提了一個(gè)patch，解決需要改動(dòng)代碼的(整體發(fā)現(xiàn)很多問(wèn)題)因整個(gè)yarn spark都改動(dòng)了，patch差距有點(diǎn)大，也懶得去兼容就沒(méi)有合并進(jìn)去
TensorFlowOnSpark 源碼解析
前言 這兩天琢磨了下spark-deep-learning和spark-sklearn兩個(gè)項(xiàng)目，但是感覺(jué)都不盡人如意。在training時(shí)，都需要把數(shù)據(jù)broadcast到各...
-
@祝威廉 以前是，現(xiàn)在不是
TensorFlowOnSpark 源碼解析
前言 這兩天琢磨了下spark-deep-learning和spark-sklearn兩個(gè)項(xiàng)目，但是感覺(jué)都不盡人如意。在training時(shí)，都需要把數(shù)據(jù)broadcast到各...
-
其實(shí)可以直接做到不修改任何代碼遷移代碼，直接將腳本封裝成一個(gè)函數(shù)，也就是mapfun
,使用yarn分發(fā)代碼到各個(gè)節(jié)點(diǎn)，美團(tuán)云當(dāng)初就是這么做的TensorFlowOnSpark 源碼解析
前言 這兩天琢磨了下spark-deep-learning和spark-sklearn兩個(gè)項(xiàng)目，但是感覺(jué)都不盡人如意。在training時(shí)，都需要把數(shù)據(jù)broadcast到各...
-
程序員，喜歡鉆研有趣的東西，公眾號(hào)：“ 望月的螞蟻”，關(guān)于：樂(lè)高，桌游，攝影，旅行等有趣的東東。公眾號(hào)： “大數(shù)據(jù)務(wù)虛雜談” 關(guān)于：大數(shù)據(jù)平臺(tái)建設(shè)的實(shí)踐
-
Ray - 面向增強(qiáng)學(xué)習(xí)場(chǎng)景的分布式計(jì)算框架
如果關(guān)注這個(gè)領(lǐng)域的同學(xué)可能知道，Ray其實(shí)在去年就已經(jīng)在開(kāi)源社區(qū)正式發(fā)布了，只不過(guò)后來(lái)就一直沒(méi)有什么太大動(dòng)靜，前段時(shí)間也是因?yàn)闄C(jī)緣巧合，我又回頭學(xué)習(xí)了解了一下，順便總結(jié)如下：...
-
我說(shuō)的調(diào)度率是rm怎么將資源分配給各個(gè)用戶的任務(wù)
Tensorflow on YARN Native Service - 可能目前最好的跑分布式Tensorflow訓(xùn)練的選擇
最近這段時(shí)間和同事一起花了不少精力來(lái)看Tensorflow on Hadoop的事情。為什么要把Tensorflow跑在Hadoop上呢？因?yàn)閿?shù)據(jù)和計(jì)算資源都在Hadoop上...
-
Yarn的調(diào)度思想我理解是給每臺(tái)機(jī)器分配任務(wù)(container)，常用的fair保證的是資源離散調(diào)度，將container 分配到各個(gè)機(jī)器，這會(huì)導(dǎo)致gpu被切分的很散，而一臺(tái)機(jī)器很難像cpu一樣有數(shù)十個(gè)核，需求一機(jī)多卡的任務(wù)，會(huì)難以得到調(diào)度，另一方面為了體現(xiàn)公平，并不是將一個(gè)任務(wù)分配完再去分配下一個(gè)任務(wù)，在gpu場(chǎng)景下(tensorflow,caffe,mxnet 等)這些框架需要資源完全分配才能運(yùn)行任務(wù)，調(diào)度算法不大合適，原來(lái)的mr，spark比較適合這類(lèi)型的調(diào)度場(chǎng)景。上一份工作經(jīng)歷就是基于你說(shuō)的這些框架，在惡劣的情況下資源調(diào)度率只有百分之60，最后是修改調(diào)度策略才解決。至于docker，怎么和yarn結(jié)合，有機(jī)會(huì)可以一起討論下
Tensorflow on YARN Native Service - 可能目前最好的跑分布式Tensorflow訓(xùn)練的選擇
最近這段時(shí)間和同事一起花了不少精力來(lái)看Tensorflow on Hadoop的事情。為什么要把Tensorflow跑在Hadoop上呢？因?yàn)閿?shù)據(jù)和計(jì)算資源都在Hadoop上...
-
-
3.1雖然支持了GPU資源，但是調(diào)度策略太差，調(diào)度率很低，docker 方案還是不靈活
Tensorflow on YARN Native Service - 可能目前最好的跑分布式Tensorflow訓(xùn)練的選擇
最近這段時(shí)間和同事一起花了不少精力來(lái)看Tensorflow on Hadoop的事情。為什么要把Tensorflow跑在Hadoop上呢？因?yàn)閿?shù)據(jù)和計(jì)算資源都在Hadoop上...
-
理解 LSTM 網(wǎng)絡(luò)作者： Christopher Olah （OpenAI）譯者：朱小虎 Xiaohu (Neil) Zhu（CSAGI / University AI）原文鏈接：https:...
-
如果你是程序員，或者有一顆喜歡寫(xiě)程序的心，喜歡分享技術(shù)干貨、項(xiàng)目經(jīng)驗(yàn)、程序員日常囧事等等，歡迎投稿《程序員》專(zhuān)題。 專(zhuān)題主編：小彤花園 http://www.itdecent.cn/users/4a4eb4feee62/ 【程序員】專(zhuān)題拒稿指北：http://www.itdecent.cn/p/7c8b33b5f63b 投稿須知： 1.收錄相關(guān)技術(shù)文章，但不限于技術(shù)，也可以是項(xiàng)目經(jīng)驗(yàn)類(lèi)的文章和程序員日常。 2.文章內(nèi)不得有任何推廣信息。包括但不限于公眾號(hào)、微博、微信，更不得在通過(guò)投稿后再修改文章加入推廣信息。你可以將這些推廣以及個(gè)人信息放在個(gè)人主頁(yè)介紹里。 3.字?jǐn)?shù)極少，段落混亂，大段代碼沒(méi)有放到代碼框的文章不收錄 4.不相關(guān)的內(nèi)容不收錄，請(qǐng)確認(rèn)文章內(nèi)容和本專(zhuān)題相關(guān) 目前針對(duì)優(yōu)質(zhì)作者及愛(ài)好者，開(kāi)設(shè)了官方程序員微信群，希望加入請(qǐng)發(fā)簡(jiǎn)信給主編小彤花園索取個(gè)人微信，主編會(huì)將你加入到【程序員】微信群，分享內(nèi)容，收獲知識(shí)。添加微信時(shí)備注昵稱。
