Java bug搬運(yùn)工，小數(shù)據(jù)攻城獅^O^
發(fā)簡(jiǎn)信
IP屬地：北京
-
本地IDEA提交Flink/Spark任務(wù)到集群的工具
Flink任務(wù)、Spark任務(wù)提交到集群，通常需要將可執(zhí)行Jar上傳到集群，手動(dòng)執(zhí)行任務(wù)提交指令，如果有配套的大數(shù)據(jù)平臺(tái)則需要上傳Jar，由調(diào)度系統(tǒng)進(jìn)行任務(wù)提交。對(duì)開發(fā)者來說...
-
「Git」合并多個(gè) Commit在使用 Git 作為版本控制的時(shí)候，我們可能會(huì)由于各種各樣的原因提交了許多臨時(shí)的 commit，而這些 commit 拼接起來才是完整的任務(wù)。那么我們?yōu)榱吮苊馓嗟?comm...
-
-
-
列存儲(chǔ)格式Parquet淺析Parquet調(diào)研報(bào)告 1. 概述 1.1 簡(jiǎn)介 Apache Parquet是Hadoop生態(tài)圈中一種新型列式存儲(chǔ)格式，它可以兼容Hadoop生態(tài)圈中大多數(shù)計(jì)算框架(Had...
-
Flink 組共享原理
本文將主要結(jié)合流程圖，代碼注釋及要點(diǎn)標(biāo)注進(jìn)行講解 Flink 組共享的代碼邏輯，幫助讀者從設(shè)計(jì)原理層更好的理解Flink Job的slot分配結(jié)果。提高對(duì)Flink Job ...
-
Flink詳解系列之八--Checkpoint和Savepoint一、Checkpoint 獲取分布式數(shù)據(jù)流和算子狀態(tài)的一致性快照是Flink容錯(cuò)機(jī)制的核心，這些快照在Flink作業(yè)恢復(fù)時(shí)作為一致性檢查點(diǎn)存在。 1.1 原理 1.1.1 B...
-
Apache Hudi 表 邏輯結(jié)構(gòu)
Apache Hudi 表目錄結(jié)構(gòu) 記錄 一部分 表目錄結(jié)構(gòu)和文件格式。便于對(duì) Hudi 的設(shè)計(jì)理念和表的組織格式進(jìn)行直觀的理解。 數(shù)據(jù)由官網(wǎng)示例[https://hudi...
-
在瀏覽器中用JS實(shí)現(xiàn)常見彈出框JS常見的彈出框（非常之簡(jiǎn)單） 本文適合初入前端的同學(xué)相信不少同學(xué)在學(xué)習(xí)前端的過程中，不管是制作demo，還是真實(shí)工作項(xiàng)目中，難免會(huì)遇到制作彈出框（提示框）的需求，這兩天正好...
-
yarn-site.xml中的幾個(gè)日志相關(guān)配置項(xiàng)
提交到y(tǒng)arn上的application出錯(cuò)，最簡(jiǎn)單直接的查錯(cuò)方式就是查看log，有時(shí)還需分析提交到y(tǒng)arn上的job.jar。 yarn-site.xml中有幾個(gè)配置項(xiàng)與日...
-
IDEA快捷鍵手冊(cè)
開發(fā)利器IDEA快捷鍵（Mac版） Mac鍵盤符號(hào)和修飾鍵說明 下面有些功能，Mac小鍵盤空間不足，沒有單鍵實(shí)現(xiàn)，轉(zhuǎn)而使用組合鍵來實(shí)現(xiàn)。 ? Escape (Esc) ? C...
-
-
【更新中】個(gè)人總結(jié)：在大數(shù)據(jù)hadoop路上跳過的坑環(huán)境說明：CentOS-6.4-x86_64-bin-DVD1.isohadoop-2.4.1.tar.gzhbase-0.98.3-hadoop2-bin.tar.gzjd...
-
Storm、Log4j2高性能之—Disruptor隊(duì)列
Storm、Log4j2高性能之—Disruptor隊(duì)列 1. Disruptor簡(jiǎn)介 Disruptor(https://github.com/LMAX-Exchange/...
