@李_傳亮 調(diào)度時間
任務(wù)調(diào)度系統(tǒng)的通用依賴模型設(shè)計(jì)一、名詞定義 1、Job：作業(yè)，具備周期性，以配置為維度定義，比如每天1:00運(yùn)行。 2、Task：任務(wù)，指Job的一次運(yùn)行實(shí)例，不具備周期性，比如每天1:00運(yùn)行的Job，...
發(fā)簡信
IP屬地：浙江
-
-
@無心_44dc SparkOperationLog繼承自SparkListener，看一下里面的方法就知道怎么實(shí)現(xiàn)了
Spark Thrift Server改造：返回執(zhí)行進(jìn)度日志
一、問題背景 當(dāng)前Spark Thrift Server在運(yùn)行SQL時，Client不會輸出任何日志，只有任務(wù)運(yùn)行結(jié)束后輸出的查詢結(jié)果集(目前Spark最新版本2.4.0仍有...
-
@發(fā)生s SparkOperationLog繼承自SparkListener，看一下里面的方法就知道怎么實(shí)現(xiàn)了
Spark Thrift Server改造：返回執(zhí)行進(jìn)度日志
一、問題背景 當(dāng)前Spark Thrift Server在運(yùn)行SQL時，Client不會輸出任何日志，只有任務(wù)運(yùn)行結(jié)束后輸出的查詢結(jié)果集(目前Spark最新版本2.4.0仍有...
-
MySQL數(shù)據(jù)遷移工具的設(shè)計(jì)與實(shí)現(xiàn)一、背景 MySQL作為最流行的關(guān)系型數(shù)據(jù)庫產(chǎn)品之一，當(dāng)數(shù)據(jù)規(guī)模增大遭遇性能瓶頸時，最容易想到的解決方案就是分庫分表。無論是進(jìn)行水平拆分還是垂直拆分，第一步必然需要數(shù)據(jù)遷移與...
-
HikariCP為什么這么快
HikariCP是一個高性能的JDBC連接池，基于BoneCP做了不少的改進(jìn)和優(yōu)化。作者是個日本人，他還有另外一個開源作品——高性能的JSON解析器HikariJSON。 關(guān)...
個人介紹