在軟件開發(fā)和數(shù)據(jù)分析的過程中，有很多不同的距離的計算方法，如歐氏距離，馬氏距離，等等。對這些距離的理解，有助于我們更好的建立模型，規(guī)劃數(shù)據(jù)平臺的存儲和索引功能。網(wǎng)上對這些距離...
發(fā)簡信
IP屬地：上海
-
-
lines.cache()是不行的??！
這里似乎和官方文檔不一致：
（https://spark.apache.org/docs/latest/rdd-programming-guide.html）
JavaRDD<String> lines = sc.textFile("data.txt");
JavaRDD<Integer> lineLengths = lines.map(s -> s.length());
int totalLength = lineLengths.reduce((a, b) -> a + b);
lineLengths.persist(StorageLevel.MEMORY_ONLY());RDD持久化
RDD持久化 Spark非常重要的一個功能特性就是可以將RDD持久化在內(nèi)存中。當對RDD執(zhí)行持久化操作時，每個節(jié)點都會將自己操作的RDD的partition持久化到內(nèi)存中，并...
-
看午夜場流浪地球后感
剛在萬達影城IMAX廳看完流浪地球，確實感受到了震撼。我印象中的中國影視制作水平還停留在五毛特效階段，流浪地球使我的印象大為改觀，不得不寫點什么來記錄一下燃爆的心情。以下有輕...
-
Java App GC 性能分析和異常處理
JVM 發(fā)展到今天，已經(jīng)相當成熟。如果我們使用 G1作為垃圾回收方案，則配置上更是輕松很多，除了暫停時間和 xms、xmx，其他幾乎都不用管。 當然，這是理想情況。實際工作中...
-
Google-Spanner論文的思考緣起 最近研究Spanner，發(fā)現(xiàn)國內(nèi)對Spanner論文的翻譯很多，但是美中不足的是，每個人都在做論文的搬運工和翻譯者，沒有加入自己的思考和設想，實在是令人悲哀。因此決定自...
-
硬盤基礎知識：原理，指標及測試作為一個分布式數(shù)據(jù)系統(tǒng)的開發(fā)者，對硬件需要有一些基本的常識。對這些東西的了解程度，決定了你能在多大程度上預測系統(tǒng)的整體性能，而這屬于一個架構師最核心的能力。今天我們來談一談硬...
-
某互聯(lián)網(wǎng)大廠kafka最佳實踐
前言： 上手kafka已有2年的時間，我們的數(shù)據(jù)處理量也從最初的300g/day發(fā)展到今天的T量級在這個過程中也踩了不少坑，在這里分享出來和大家共勉。 一、硬件考量 1.1、...
-
《眨眼之間》在講什么
好久沒上簡書了。最近半年一直很忙。但這次上來發(fā)現(xiàn)有一篇壓在草稿箱底很久的書評，決定還是把它發(fā)出來。以下正文。 最近翻了一遍 Malcolm Gladwell 的 "Blink...
-
如果你是程序員，或者有一顆喜歡寫程序的心，喜歡分享技術干貨、項目經(jīng)驗、程序員日常囧事等等，歡迎投稿《程序員》專題。 專題主編：小彤花園 http://www.itdecent.cn/users/4a4eb4feee62/ 【程序員】專題拒稿指北：http://www.itdecent.cn/p/7c8b33b5f63b 投稿須知： 1.收錄相關技術文章，但不限于技術，也可以是項目經(jīng)驗類的文章和程序員日常。 2.文章內(nèi)不得有任何推廣信息。包括但不限于公眾號、微博、微信，更不得在通過投稿后再修改文章加入推廣信息。你可以將這些推廣以及個人信息放在個人主頁介紹里。 3.字數(shù)極少，段落混亂，大段代碼沒有放到代碼框的文章不收錄 4.不相關的內(nèi)容不收錄，請確認文章內(nèi)容和本專題相關 目前針對優(yōu)質(zhì)作者及愛好者，開設了官方程序員微信群，希望加入請發(fā)簡信給主編小彤花園索取個人微信，主編會將你加入到【程序員】微信群，分享內(nèi)容，收獲知識。添加微信時備注昵稱。
-
為什么開發(fā)一個小功能需要這么長的時間
我只需要給接口增加一個字段而已。-- By 某銷售同事 為什么我寫這個 我在一家規(guī)模很小的征信公司工作。我們的開發(fā)團隊包括 QA、UI 在內(nèi)只有6個人。在過去的一年半里面，我...
-
-
Celluloid is dead!
Celluloid 以及其生態(tài)圈里的任何成員都已經(jīng)死了。事實上它還不如死的比他更早的 EventMachine。EM 至少保持了其生態(tài)系統(tǒng)里各組件的一致性，你現(xiàn)在仍然可以用 ...
-
譯文|我花了不到30分鐘，獲得了15個面試邀請
20歲的時候，我和大多數(shù)這個年紀的小姑娘一樣，在一家公司以積累實習經(jīng)驗的名義，安度我的青春年華。直到有一天，我爸突然告訴我，“不準再去當免費的搬運工了，趕緊好生找份工作?！?...
-
Is Rubinius the new trend?
今天又開始看 Rubinius 的東西。原因是因為 Rails 5開始內(nèi)置 Puma，而 Puma 又推薦大家使用 Rubinius，所以就順便看一下。 發(fā)現(xiàn) Rubiniu...
