崇尚詩詞如畫的 IT人
發(fā)簡(jiǎn)信
IP屬地：四川
-
-
使用Spark讀取并分析二進(jìn)制文件
需求 客戶希望通過spark來分析二進(jìn)制文件中0和1的數(shù)量以及占比。如果要分析的是目錄，則針對(duì)目錄下的每個(gè)文件單獨(dú)進(jìn)行分析。分析后的結(jié)果保存與被分析文件同名的日志文件中，內(nèi)容...
-
@DeepLearningZ 關(guān)鍵要有大廠推動(dòng)，也需要有好的應(yīng)用做背書。
Martin Odersky訪談錄所思
ThoughtWorks的「TW洞見」在4月發(fā)布了對(duì)Scala之父Martin Odersky的訪談。Odersky的回答顯得言簡(jiǎn)意賅，仔細(xì)分析，仍然能從中收獲不少隱含的信息...
-
_張逸_ ·“成為了哥白尼之前的世人，以為面向?qū)ο缶褪浅绦騿T的全部世界” 說的太好了！
OO我記得是上有圖靈獎(jiǎng)下有Spring的存在，但這個(gè)存在太久了，歷史告訴我們，進(jìn)步就是顛覆，因?yàn)槲ㄒ徊蛔兊木褪亲兓?，也可能是這個(gè)東西本身變了也可能是環(huán)境變了，總之，這個(gè)東西不再像當(dāng)初，就像我們?nèi)艘粯?，終有一天、竟變得面目全非。
Queen〇fLaponia 評(píng)論自Scala函數(shù)式編程 -
Spark中進(jìn)行聚合時(shí)的特殊場(chǎng)景
在對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析時(shí)，如果對(duì)指標(biāo)進(jìn)行聚合運(yùn)算，而待查詢的字段中還包含了維度，則原則上我們還需要按照維度字段進(jìn)行分組。倘若這個(gè)聚合運(yùn)算為sum函數(shù)，分組之后就相當(dāng)于分類匯總了...
-
移動(dòng)開發(fā)中的軟件架構(gòu)在移動(dòng)開發(fā)領(lǐng)域，我們往往會(huì)遇到軟件的可擴(kuò)展性、可復(fù)用性以及可維護(hù)性等問題，這就涉及到如何做好軟件的架構(gòu)設(shè)計(jì)或者重構(gòu)優(yōu)化工作。結(jié)合實(shí)踐與思考，本文對(duì)其中的Android應(yīng)用軟件...
-
“縱向上的層次結(jié)構(gòu)，更側(cè)重邏輯調(diào)用和依賴關(guān)系，可分為業(yè)務(wù)層和組件層?！边@個(gè)層次其實(shí)應(yīng)該是橫向上，也就是所謂水平切割，或者分層架構(gòu)。
移動(dòng)開發(fā)中的軟件架構(gòu)
在移動(dòng)開發(fā)領(lǐng)域，我們往往會(huì)遇到軟件的可擴(kuò)展性、可復(fù)用性以及可維護(hù)性等問題，這就涉及到如何做好軟件的架構(gòu)設(shè)計(jì)或者重構(gòu)優(yōu)化工作。結(jié)合實(shí)踐與思考，本文對(duì)其中的Android應(yīng)用軟件...
-
-
-
我還真不知道。Scala也沒這么高貴，說簡(jiǎn)單的，它就是一門語言，門檻也沒有這么高。如果要把Scala寫好，確實(shí)有難度，但哪門語言不這樣呢？
Martin Odersky訪談錄所思
ThoughtWorks的「TW洞見」在4月發(fā)布了對(duì)Scala之父Martin Odersky的訪談。Odersky的回答顯得言簡(jiǎn)意賅，仔細(xì)分析，仍然能從中收獲不少隱含的信息...
-
繼續(xù)探索with語句
在上一篇博客《漂亮的with，魚與熊掌可以兼得》中，展現(xiàn)了with的優(yōu)雅之處，然而在比較with與|>時(shí)，言猶未盡，講得不夠透徹。 在那篇博客中，我說： 畢竟with/1并不...
-
漂亮的with，魚與熊掌可以兼得
假設(shè)要加載磁盤上的一個(gè)文件，并以二進(jìn)制形式讀取文件的數(shù)據(jù)。若要從健壯性的角度考慮，需得考慮兩種異常情況： 加載文件失敗，例如給定的文件路徑并不存在該文件 讀取文件數(shù)據(jù)失敗，例...
-
漂亮的with，魚與熊掌可以兼得
假設(shè)要加載磁盤上的一個(gè)文件，并以二進(jìn)制形式讀取文件的數(shù)據(jù)。若要從健壯性的角度考慮，需得考慮兩種異常情況： 加載文件失敗，例如給定的文件路徑并不存在該文件 讀取文件數(shù)據(jù)失敗，例...
-
@福克斯紀(jì) 是有這么個(gè)問題。我最近因?yàn)楣ぷ髟?，面試了一幫人，都是用Spark作大數(shù)據(jù)開發(fā)的，結(jié)果問到scala語言方面的，基本上都不懂。
Martin Odersky訪談錄所思
ThoughtWorks的「TW洞見」在4月發(fā)布了對(duì)Scala之父Martin Odersky的訪談。Odersky的回答顯得言簡(jiǎn)意賅，仔細(xì)分析，仍然能從中收獲不少隱含的信息...
-
一次設(shè)計(jì)演進(jìn)之旅需求背景： 我們需要實(shí)現(xiàn)對(duì)存儲(chǔ)在HDFS中的Parquet文件執(zhí)行數(shù)據(jù)查詢，并通過REST API暴露給前端以供調(diào)用。由于查詢的結(jié)果可能數(shù)量較大，要求API接口能夠提供分頁查...
-
_張逸_ ·
和我們現(xiàn)在在做的產(chǎn)品架構(gòu)非常相似，無論從scala語言選型還是tachyon加parquet的數(shù)據(jù)存儲(chǔ)，再到Spark SQL。只不過我們?cè)赟park這層做了硬隔離，沙箱化用戶的數(shù)據(jù)。
avril23 評(píng)論自基于Scala的產(chǎn)品開發(fā)實(shí)踐 -
你用的哪個(gè)版本的Spark？
Spark強(qiáng)大的函數(shù)擴(kuò)展功能
在數(shù)據(jù)分析領(lǐng)域中，沒有人能預(yù)見所有的數(shù)據(jù)運(yùn)算，以至于將它們都內(nèi)置好，一切準(zhǔn)備完好，用戶只需要考慮用，萬事大吉。擴(kuò)展性是一個(gè)平臺(tái)的生存之本，一個(gè)封閉的平臺(tái)如何能夠擁抱變化？在對(duì)...
-
在模式匹配中，每條case是一個(gè)unapply，但在本文的語境中，case其實(shí)是PartialFunction工廠的語法糖。
Scala中的map與collect
在Scala中，當(dāng)我需要對(duì)集合的元素進(jìn)行轉(zhuǎn)換時(shí)，自然而然會(huì)使用到map方法。而當(dāng)我們?cè)趯?duì)tuple類型的集合或者針對(duì)Map進(jìn)行map操作時(shí)，通常更傾向于在map方法中使用ca...