背景 在調度系統(tǒng)中存在很多定時執(zhí)行的任務，這些任務有不同的執(zhí)行周期，比如有每分鐘、每小時、每天執(zhí)行一次的，也有可能是半天執(zhí)行一次的，且這些任務之間需要建立依賴關系，組成一個數...
發(fā)簡信
IP屬地：上海
-
調度系統(tǒng)中不同周期任務依賴的方法（1）
-
clickhouse + chproxy 集群搭建集群規(guī)劃 集群架構 其中 Distribute 是指創(chuàng)建分布式表的機器，在此文章中是將 Distribute 單獨部署的，也可以將 Distribute 角色劃分到每個 Re...
-
@FinalFantasyXX 哈哈 被apache喂胖了 思路是這樣 可以自己試著實現
餓了么元數據管理實踐之路
大數據挑戰(zhàn) 多種執(zhí)行、存儲引擎，分鐘、小時、天級的任務調度，怎樣梳理數據的時間線變化？ 任務、表、列、指標等數據，如何進行檢索、復用、清理、熱度Top計算？ 怎樣對表、列、指...
-
Apache Flink源碼解析 （五）DataStream API概述 這篇文章是但不僅僅是官方文檔的中文翻譯，還有里面每一個方法對應的Transformation和運行時對Task的影響。 Prerequisites 關于算子想說的有很多...
-
餓了么元數據管理實踐之路
大數據挑戰(zhàn) 多種執(zhí)行、存儲引擎，分鐘、小時、天級的任務調度，怎樣梳理數據的時間線變化？ 任務、表、列、指標等數據，如何進行檢索、復用、清理、熱度Top計算？ 怎樣對表、列、指...
-
Dr.Elephant源碼分析--MapReduce
Job日志 mapred-site.xml配置任務執(zhí)行日志路徑(hdfs) 作業(yè)啟動時，hadoop會將作業(yè)信息放在${yarn.app.mapreduce.am.stagi...
-
加油
BroadcastManager--SparkEnv
Broadcast是分布式的數據共享，由BroadcastManager負責管理其創(chuàng)建或銷毀。Broadcast一般用于處理共享的配置文件、通用Dataset、常用數據結構 ...
-
BroadcastManager--SparkEnv
Broadcast是分布式的數據共享，由BroadcastManager負責管理其創(chuàng)建或銷毀。Broadcast一般用于處理共享的配置文件、通用Dataset、常用數據結構 ...
-
SerializerManager--SparkEnv
SparkEnv中有兩個序列化的組件，分別是SerializerManager和closureSerializer SerializerManager集成序列化、壓縮、加密的...
-
度量系統(tǒng)--MetricsSpark的度量系統(tǒng)有以下幾部分，也可以參照MetricsSystem類的注釋部分 Instance: 數據實例。Spark的Instance有Master、Worker、A...
-
事件總線--ListenerBusSpark中很多組件都是靠RPC、事件消息機制實現通信的。前者解決遠程通信問題，后者則是本地較為高效的通信方式 定義ListenerBus Spark定義了一個trait的L...
-
徹底理解ThreadLocalThreadLocal的作用是提供一個線程的局部變量，比如context、session。是直接把某個對象在各自線程中實例化一份，每個線程都有屬于自己的該對象。ThreadL...
-
用Optional取代null
創(chuàng)建Optional對象 Optional.empty()：聲明一個空Optional Optional.of()：依據一個非空值創(chuàng)建Optional Optional.of...
-
Function、Predicate、Consumer、Supplier接口
這些接口都有一個@FunctionalInterface注解，表明這個接口將是一個函數式接口，里面只能有一個抽象方法 Function Function<T, R> => R...
-
-
如果你是程序員，或者有一顆喜歡寫程序的心，喜歡分享技術干貨、項目經驗、程序員日常囧事等等，歡迎投稿《程序員》專題。 專題主編：小彤花園 http://www.itdecent.cn/users/4a4eb4feee62/ 【程序員】專題拒稿指北：http://www.itdecent.cn/p/7c8b33b5f63b 投稿須知： 1.收錄相關技術文章，但不限于技術，也可以是項目經驗類的文章和程序員日常。 2.文章內不得有任何推廣信息。包括但不限于公眾號、微博、微信，更不得在通過投稿后再修改文章加入推廣信息。你可以將這些推廣以及個人信息放在個人主頁介紹里。 3.字數極少，段落混亂，大段代碼沒有放到代碼框的文章不收錄 4.不相關的內容不收錄，請確認文章內容和本專題相關 目前針對優(yōu)質作者及愛好者，開設了官方程序員微信群，希望加入請發(fā)簡信給主編小彤花園索取個人微信，主編會將你加入到【程序員】微信群，分享內容，收獲知識。添加微信時備注昵稱。
-
每個人都是生活家? 1.生活家收錄范圍：美食、美妝護膚、穿搭、手工手賬、旅行攻略、購物指南以及測評、寵物植物、育兒指南、家裝指南、運動健身（非專業(yè)）、健康養(yǎng)生、及其他貼近生活的興趣愛好 所有讓生活變得更好的技能和經驗，（比如教你p照片，記錄瘦身過程等）純粹生活感悟不收 ? 2.內容原創(chuàng)、鼓勵從生活中的自身經驗發(fā)掘生活的美好與樂趣，鼓勵圖文并茂。? 3. 文內不得出現個人推廣性質的額外鏈接，例如微信號，微博。更不得在通過投稿后再修改文章加入推廣信息。? 專題主編：? 迷蝴莊生 http://www.itdecent.cn/u/257421ea813e 簡書生活家微信群已建立，加入請?zhí)砑佑袗鄣纳罴倚≈治⑿臜edy3680（歡姐），拉入群。添加請備注“我愛生活家”。 關注簡書官方微信公眾號（jianshuio），及時閱讀簡書熱門好文。?
