起因 最近信息流推薦的業(yè)務方在使用tensorflow進行分布式訓練時,反饋說程序有內(nèi)存泄露的情況。詳細了解之后,現(xiàn)場情況是這樣的: 數(shù)據(jù)從hd...
0. 寫在前面 tensorflow分布式訓練時,grpc的慢一直都被很多人所詬病。在早期的版本中,由于實現(xiàn)的一些原因,的確存在一些性能問題(可...
寫在前面 借著公司內(nèi)和其他小組的一個分享,把自己幾年來C++開發(fā)的一點思考總結(jié)一下。全篇沒有高屋建瓴的觀點,基本都是些細節(jié)方面的注意事項。希望能...
背景 在開發(fā)系統(tǒng)的時候,我們可能會有把數(shù)據(jù)備份到HDFS的需求。如果我們自身的系統(tǒng)是用Java開發(fā)的,那么直接用HDFS的Java API就可以...
原理介紹 kerberos主要是用來做網(wǎng)絡通信時候的身份認證,最主要的特點就是“復雜”。所以在入坑kerberos之前,最好先熟悉一下其原理。這...
經(jīng)濟激勵:挖礦 有了這幾個規(guī)則后,我們似乎可以松口氣了:這么變態(tài)的考試,也算也有點眉目了??缮罹肯氯ズ螅瑓s會發(fā)現(xiàn)大家很容易陷入“三個和尚沒水喝”...
維持人群賬本的一致 接下來我們看如何使分散在世界各地的計算機節(jié)點維持賬戶余額保持一致。 回到最開始的理想模型,大家的記賬過程是這樣的: 在最開始...
寫在前面 寫這篇文章的動機,緣于一次對比特幣原理科普性質(zhì)的分享。講的過程中發(fā)現(xiàn),想把比特幣真正講明白,是非常困難的。所以決定把分享的內(nèi)容記錄下來...
最近在公司的分布式項目pegasus中用到了zookeeper的c客戶端,在此記錄下使用zookeeper c client時的一些心得。 zo...