發(fā)簡信
IP屬地：臺(tái)灣
-
java在線診斷神器-Arthas-試用札記筆者閑逛開源中國，偶遇“開源中國 2018 年度榜單之國產(chǎn)新秀榜”之top1-Arthas，遂觀之。閱后興奮不已，此乃上古神器也。神器流落凡間，...
-
spark之Failed to create local dir那點(diǎn)事
近日莫名遭遇異常一枚，如下： 原因分析：1 Failed to create local dir，什么時(shí)候spark會(huì)創(chuàng)建臨時(shí)文件呢？shuff...
-
性能優(yōu)化筆記(一)概述：筆者近期接受一個(gè)大數(shù)據(jù)項(xiàng)目的性能優(yōu)化，為期兩周，2.6萬/s的日志處理速度提升至需求目標(biāo)值5萬/s。從整理項(xiàng)目流程閱讀代碼到性能優(yōu)化目標(biāo)實(shí)...
-
設(shè)計(jì)模式之合成（Composite）模式
場景：數(shù)據(jù)流向：kafka-->spark-->es。其中spark數(shù)據(jù)處理會(huì)有過濾，etl等步驟，需求不同，搭配不同。如A場景需要過濾+etl...
-
Spark的那些事(四) java操作kudu全示例(含sparksql)
上文提到，使用kudu等列式存儲(chǔ)將數(shù)據(jù)以u(píng)pdate模式寫入kudu.下面說一下java操作kudu的相關(guān)demo。java操作kudu在git...
-
spark的那些事(三) Structured streaming 窗口期內(nèi)存數(shù)據(jù)的查詢
之前的文章中提過，structured streaming處理流數(shù)據(jù)，如果使用聚合，將會(huì)有window的概念，對(duì)應(yīng)屬性watermark.不知你...
-
Spark的那些事(二)Structured streaming中Foreach sink的用法
Structured streaming默認(rèn)支持的sink類型有File sink，F(xiàn)oreach sink，Console sink，Memo...
-
Spark的那些事（一）Spark是一個(gè)快速的集群化的實(shí)時(shí)計(jì)算系統(tǒng)。支持Java, Scala, Python 和R語言的高級(jí)API。 一 Spark生態(tài)： 支持Spa...
-
dropwizard微服務(wù)實(shí)踐
一 Dropwizard是什么？Dropwizard是一個(gè)跨越了庫和框架的界限，他的目標(biāo)是提供一個(gè)生產(chǎn)就緒的web應(yīng)用程序所需的一切性能可靠的實(shí)...