筆者閑逛開源中國,偶遇“開源中國 2018 年度榜單之國產新秀榜”之top1-Arthas,遂觀之。閱后興奮不已,此乃上古神器也。神器流落凡間,...
投稿
筆者閑逛開源中國,偶遇“開源中國 2018 年度榜單之國產新秀榜”之top1-Arthas,遂觀之。閱后興奮不已,此乃上古神器也。神器流落凡間,...
近日莫名遭遇異常一枚,如下: 原因分析:1 Failed to create local dir,什么時候spark會創(chuàng)建臨時文件呢?shuff...
概述:筆者近期接受一個大數據項目的性能優(yōu)化,為期兩周,2.6萬/s的日志處理速度提升至需求目標值5萬/s。從整理項目流程閱讀代碼到性能優(yōu)化目標實...
一、什么是藍綠發(fā)布 藍綠部署是不停老版本,部署新版本然后進行測試,確認OK,將流量切到新版本,然后老版本同時也升級到新版本。 1、特點藍綠部署無...
上文提到,使用kudu等列式存儲將數據以update模式寫入kudu.下面說一下java操作kudu的相關demo。java操作kudu在git...
之前的文章中提過,structured streaming處理流數據,如果使用聚合,將會有window的概念,對應屬性watermark.不知你...
Structured streaming默認支持的sink類型有File sink,Foreach sink,Console sink,Memo...
Spark是一個快速的集群化的實時計算系統(tǒng)。支持Java, Scala, Python 和R語言的高級API。 一 Spark生態(tài): 支持Spa...
安裝 由于我是Mac的新系統(tǒng),所以在官網安裝了docker ee,(具體的安裝就是麻瓜式一直按下去即可,注意自己的系統(tǒng)版本,有些老版本是用too...