本文將介紹 Airflow 這一款優(yōu)秀的調(diào)度工具。主要包括 Airflow 的服務(wù)構(gòu)成、Airflow 的 Web 界面、DAG 配置、常用配置以及 Airflow DAG ...
發(fā)簡(jiǎn)信
IP屬地：廣東
-
淺談?wù){(diào)度工具——Airflow -
Git多項(xiàng)目管理
開(kāi)發(fā)中我們經(jīng)常會(huì)遇到這樣的情況：項(xiàng)目越來(lái)越大，一些通用的模塊我們希望將他抽離出來(lái)作為單獨(dú)的項(xiàng)目，以便其他項(xiàng)目也可以使用，或者使用一些第三方庫(kù)，可能我們并不想將代碼直接拷貝進(jìn)我...
-
30張圖帶你徹底理解紅黑樹(shù)寫(xiě)在前面 當(dāng)在10億數(shù)據(jù)進(jìn)行不到30次比較就能查找到目標(biāo)時(shí)，不禁感嘆編程之魅力！人類(lèi)之偉大呀！ —— 學(xué)紅黑樹(shù)有感。 終于，在學(xué)習(xí)了幾天的紅黑樹(shù)相關(guān)的知識(shí)后，我想把我所學(xué)所想...
-
Spark Core解析 2：Scheduler 調(diào)度體系Spark Core解析 2：Scheduler 調(diào)度體系 Overview 調(diào)度系統(tǒng)，是貫穿整個(gè)Spark應(yīng)用的主心骨，從調(diào)度系統(tǒng)開(kāi)始入手了解Spark Core，比較容易...
-
VIP唯品會(huì) Senior Java Developer<br><br>目前從事唯品會(huì)搜索服務(wù)平臺(tái)Elasticsearch相關(guān)開(kāi)發(fā)工作<br><br><br>微信請(qǐng)掃
-
Spark Structured Streaming 寫(xiě)checkpoint 到HDFS 抖動(dòng)的排查問(wèn)題描述 我們最近有個(gè)項(xiàng)目，需要實(shí)時(shí)消費(fèi)訂單成單的消息，提煉完數(shù)據(jù)后把結(jié)果寫(xiě)入HDFS，因此checkpointConfiguration 自然而然也采用默認(rèn)配置寫(xiě)到HDFS...
-
Scala并發(fā)編程實(shí)戰(zhàn) - 2：Lock 鎖
synchronized作為內(nèi)置鎖，使用簡(jiǎn)單，不易出錯(cuò)，然鵝確有相當(dāng)?shù)木窒扌裕?，無(wú)法從等待獲取鎖的阻塞中中斷，無(wú)法設(shè)置獲取鎖的超時(shí)。所以JUC提供了另一種更靈活的加鎖方式...
-
Spark Core 解析：RDD引言 Spark Core是Spark的核心部分，是Spark SQL，Spark Streaming，Spark MLlib等等其他模塊的基礎(chǔ), Spark Core提供了...
-
Scala implicit 隱式轉(zhuǎn)換安全駕駛指南
這篇短文將結(jié)合實(shí)例對(duì)隱式轉(zhuǎn)換的各種場(chǎng)景進(jìn)行解釋和總結(jié)，希望看完的人能夠安全駛過(guò)隱式轉(zhuǎn)換這個(gè)大坑。 隱式轉(zhuǎn)換函數(shù) 隱式轉(zhuǎn)換函數(shù)有兩種作用場(chǎng)景。 1 轉(zhuǎn)換為期望類(lèi)型：就是指一旦編...
-
Maven用戶(hù)都應(yīng)該知道的一些事：關(guān)于依賴(lài)的常見(jiàn)問(wèn)題
依賴(lài)范圍(scope)不同選項(xiàng)的區(qū)別 依賴(lài)范圍參數(shù)的作用是控制依賴(lài)在不同階段與classpath的關(guān)系，具體區(qū)別如下圖所示。 表中沒(méi)有列出的值是import，這個(gè)選項(xiàng)是用于引...
-
Maven用戶(hù)都應(yīng)該知道的一些事：構(gòu)建生命周期和插件
Maven的所有實(shí)際操作都是由插件完成的，如果沒(méi)有插件，Maven什么都不會(huì)干。（即時(shí)你沒(méi)有在POM中配置 元素，Super POM中也已經(jīng)幫你引入了若干核心插件） 那么問(wèn)題...
-
《奇葩說(shuō)》金句集錦，每一句都能要了你的命上周末，最新一季的《奇葩說(shuō)》迎來(lái)收官之戰(zhàn)。 劇情最后大反轉(zhuǎn)，陳銘老師喜提新一季“BBking”，如晶以微弱差距再次與“BBking”失之交臂。 下面，我們一起來(lái)回顧下《奇葩說(shuō)...
-
給女朋友講解什么是Optional【JDK 8特性】
前言 只有光頭才能變強(qiáng) 前兩天帶女朋友去圖書(shū)館了，隨手就給她來(lái)了一本《與孩子一起學(xué)編程》的書(shū)，于是今天就給女朋友講解一下什么是Optional類(lèi)。 至于她能不能看懂，那肯定是...
-
學(xué)習(xí)云計(jì)算大數(shù)據(jù)平臺(tái)，Spark, Flink，Storm Hadoop等平臺(tái)，讓我們共同促進(jìn)大數(shù)據(jù)的發(fā)展
-
隨意翻譯了一些Flink的文檔，很多都不太準(zhǔn)確，僅作為參考，可以省去自己Google翻譯和百度翻譯的時(shí)間
-
大廠的第一堂課，完整的git流程前言 大廠有著數(shù)量龐大的代碼庫(kù)以及復(fù)雜的權(quán)限驗(yàn)證體系，囊括著開(kāi)發(fā)、測(cè)試、上線的完整流程。因此必然會(huì)有一套代碼倉(cāng)庫(kù)的管理流程，而不再是個(gè)人的代碼隨意開(kāi)發(fā)、隨意提交。這也是我從小...
