Flink任務(wù)、Spark任務(wù)提交到集群，通常需要將可執(zhí)行Jar上傳到集群，手動執(zhí)行任務(wù)提交指令，如果有配套的大數(shù)據(jù)平臺則需要上傳Jar，由調(diào)度系統(tǒng)進(jìn)行任務(wù)提交。對開發(fā)者來說...
發(fā)簡信
IP屬地：北京
-
本地IDEA提交Flink/Spark任務(wù)到集群的工具
-
「Git」合并多個 Commit在使用 Git 作為版本控制的時候，我們可能會由于各種各樣的原因提交了許多臨時的 commit，而這些 commit 拼接起來才是完整的任務(wù)。那么我們?yōu)榱吮苊馓嗟?comm...
-
列存儲格式Parquet淺析Parquet調(diào)研報告 1. 概述 1.1 簡介 Apache Parquet是Hadoop生態(tài)圈中一種新型列式存儲格式，它可以兼容Hadoop生態(tài)圈中大多數(shù)計算框架(Had...
-
Flink詳解系列之八--Checkpoint和Savepoint一、Checkpoint 獲取分布式數(shù)據(jù)流和算子狀態(tài)的一致性快照是Flink容錯機(jī)制的核心，這些快照在Flink作業(yè)恢復(fù)時作為一致性檢查點存在。 1.1 原理 1.1.1 B...
-
在瀏覽器中用JS實現(xiàn)常見彈出框JS常見的彈出框（非常之簡單） 本文適合初入前端的同學(xué)相信不少同學(xué)在學(xué)習(xí)前端的過程中，不管是制作demo，還是真實工作項目中，難免會遇到制作彈出框（提示框）的需求，這兩天正好...
-
yarn-site.xml中的幾個日志相關(guān)配置項
提交到y(tǒng)arn上的application出錯，最簡單直接的查錯方式就是查看log，有時還需分析提交到y(tǒng)arn上的job.jar。 yarn-site.xml中有幾個配置項與日...
-
【更新中】個人總結(jié)：在大數(shù)據(jù)hadoop路上跳過的坑環(huán)境說明：CentOS-6.4-x86_64-bin-DVD1.isohadoop-2.4.1.tar.gzhbase-0.98.3-hadoop2-bin.tar.gzjd...
-
Flink 1.10源代碼編譯，基于release-1.10分支
Flink源代碼編譯部署 以[release-1.10][https://github.com/apache/flink/tree/release-1.10]版本為例 以 [...
-
jvm系列(十):如何成為Java的OOM Killer
?前言 雖然事隔半年，當(dāng)時排查線上OOM事故的過程記憶猶新，每一個步驟都?xì)v歷在目，感謝業(yè)務(wù)組、系統(tǒng)部、壓測組、監(jiān)控與應(yīng)急部對架構(gòu)組的強(qiáng)力支持，得以讓這個Java內(nèi)存問題水落石...
