改了History Server代碼，只拉取最新500M的日志進行解析
【Spark】HistoryServer 進程運行日志無限增長問題解決Spark-HistoryServer在運行過程中會打印自身進程的日志，這里是指打印在${SPARK_HOME}/logs目錄下，名稱為spark-spark-org.apa...
發(fā)簡信
IP屬地：寧夏
-
-
tableau 服務(wù)器需要安裝ODBC驅(qū)動
【clickhouse】clickhouse連接tableau
Windows版本tableau連接 windows版本tableau是通過ODBC配置管理器加載clickhouse ODBC驅(qū)動連接。下載clickhouseODBC驅(qū)動...
-
@發(fā)生s 2.0以上應(yīng)該都有
[Spark] Spark LogicalPlan 逆向生成SQL語句
在使用spark進行sql分析過程中，一般是將sql語句解析成LogicalPlan查看執(zhí)行計劃，LogicalPlan能夠幫助我們了解Spark-SQL的解析，轉(zhuǎn)換，優(yōu)化，...
-
Clickhouse實現(xiàn)累計求和cumulative sum
源表數(shù)據(jù)如下： timeprovinceorder_cnt20200601shandong10020200601jiangsu20020200601zhejiang30020...
-
【clickhouse】clickhouse連接tableauWindows版本tableau連接 windows版本tableau是通過ODBC配置管理器加載clickhouse ODBC驅(qū)動連接。下載clickhouseODBC驅(qū)動...
-
【Clickhouse】Spark通過ClickHouse-Native-JDBC寫入Clickhouse
目前通過JDBC寫Clickhouse有兩種插件可以用官方的JDBC：8123端口基于HTTP實現(xiàn)的，整體性能不太出色，有可能出現(xiàn)超時的現(xiàn)象housepower的ClickH...
-
【Flink】Flink手動觸發(fā)savepoint失敗問題今天看了checkpoint和savepoint的區(qū)別，嘗試手動觸發(fā)一個savepoint保存在本地，使用命令bin/flink savepoint 91db9ffba718...
-
【Flink】Windows環(huán)境部署Flink 1.10版本問題解決
最近開始重拾大數(shù)據(jù)的工作，接手實時計算。計劃按照官網(wǎng)的手冊Flink_on_Windows在Windows環(huán)境部署Flink 1.10版本，發(fā)現(xiàn)TaskManager啟動失敗...
-
-
圖像識別現(xiàn)代史 Modern History of Object Recognition
Modern History of Object Recognition 最近看到一篇很好的介紹圖像識別技術(shù)發(fā)展路線圖的文章《Modern History of Object...
-
@和腐朽說再見 指的文件大小。平臺有1000臺物理節(jié)點，日均30萬任務(wù)，日志文件幾天就上百G了。
【Spark】HistoryServer 進程運行日志無限增長問題解決
Spark-HistoryServer在運行過程中會打印自身進程的日志，這里是指打印在${SPARK_HOME}/logs目錄下，名稱為spark-spark-org.apa...
-
【Git操作】記一些常用的git命令
查看遠(yuǎn)程倉庫 git remote -v 從遠(yuǎn)程origin/master分支拉取代碼，在本地創(chuàng)建一個新分支 git fetch git@bdgit.mycompany.co...
-
@han昆侖 delay崩潰可以考慮調(diào)下并發(fā)spark.streaming.concurrentJobs這個參數(shù)，默認(rèn)是1的。
【Spark】SparkStreaming 新增Metrics 支持Kafka數(shù)據(jù)消費堆積監(jiān)控
在SparkStreaming任務(wù)運行的過程中，由于數(shù)據(jù)流量或者網(wǎng)絡(luò)的抖動，任務(wù)的batch很可能出現(xiàn)delay，所以就出現(xiàn)了一個需求：實時監(jiān)控任務(wù)對kafka消息的消費，及...
-
Java集合源碼分析之開篇
初衷 Java集合是我們使用最頻繁的工具，也是面試的熱點，但我們對它的理解僅限于使用上，而且大多數(shù)情況沒有考慮過其使用規(guī)范。本系列文章將跟隨源碼的思路，分析實現(xiàn)的每個細(xì)節(jié)，以...
-
[ES-Spark] es array mapping 正確映射到Spark
之前有篇文章介紹ES數(shù)據(jù)探查的文章，出門左轉(zhuǎn)可以看到。剛剛踩到一個小坑：ES中的字段有可能是事實上的Array類型，雖然ES中并沒有明確的支持Array，但是數(shù)據(jù)可以是平鋪的...
-
[Spark] Spark LogicalPlan 逆向生成SQL語句在使用spark進行sql分析過程中，一般是將sql語句解析成LogicalPlan查看執(zhí)行計劃，LogicalPlan能夠幫助我們了解Spark-SQL的解析，轉(zhuǎn)換，優(yōu)化，...
