發(fā)簡(jiǎn)信
IP屬地：北京
簡(jiǎn)介 由于Spark應(yīng)用寫數(shù)據(jù)到Hive表時(shí)，容易因?yàn)閟huffle數(shù)過多導(dǎo)致生成過多小文件，影響集群存儲(chǔ)利用率；故需要一個(gè)能避免讀寫沖突的小文...
之前使用過foreach單條處理的MySQLSink，可能導(dǎo)致連續(xù)開關(guān)連接，性能較差，故通過prepareStatement的addBatch批...
Spark on yarn 執(zhí)行流計(jì)算時(shí)，如果流掛了，沒有提醒會(huì)導(dǎo)致實(shí)時(shí)指標(biāo)計(jì)算停滯，為了保證流的7/24運(yùn)行，需要有一個(gè)能監(jiān)控Spark on...
報(bào)錯(cuò):WARN TaskSetManager: Lost task 3.0 in stage 17.0 (TID 2071, node135.b...
問題-通過SQL在Impala和Mysql從庫分別統(tǒng)計(jì)已經(jīng)同步的表數(shù)據(jù)時(shí)，發(fā)現(xiàn)同一天的數(shù)據(jù)量不相同，進(jìn)而發(fā)現(xiàn)Impala讀取kudu的時(shí)間列時(shí)為...
問題-Delta文件是狀態(tài)文件不能簡(jiǎn)單合并，否則可能導(dǎo)致狀態(tài)無法恢復(fù)。狀態(tài)文件多，主要是流和流join導(dǎo)致。根本原因-Spark的CheckPo...
1.foreachBatchspark2.4以后可以直接使用foreachBatch調(diào)用sparksql支持的jdbc批量寫mysql,如下： ...