數(shù)據(jù)倉庫理論 一、數(shù)據(jù)倉庫簡介 1.1、 數(shù)據(jù)倉庫 數(shù)據(jù)倉庫為一個面向主題的、集成的、隨時(shí)間變化的、非易失的數(shù)據(jù)集合,用于支持管理者的決策過程。 操作型系統(tǒng)和分析型系統(tǒng) 數(shù)據(jù)...
Druid的架構(gòu)設(shè)計(jì)是對云友好和易維護(hù)的多處理分布式架構(gòu)。架構(gòu)在集群中有最大的靈活性,可以配置和獨(dú)立擴(kuò)展每一個Druid的節(jié)點(diǎn)類型。這樣的架構(gòu)設(shè)計(jì)也提供了更加強(qiáng)的容錯性。一個...
分布式存儲系統(tǒng)特性 可擴(kuò)展性 低成本 高性能 易用面臨的問題 數(shù)據(jù)分布 一致性 容錯 負(fù)載均衡 易用性 壓縮/解壓縮 分布式存儲分類 根據(jù)存儲的數(shù)據(jù)類型(非結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化...
airflow經(jīng)常會調(diào)度shell文件,同時(shí)需要傳遞參數(shù)到shell文件。調(diào)度任務(wù)通常需要和執(zhí)行時(shí)間相關(guān),采用宏來生成參數(shù)并把參數(shù)傳遞到shell文件。python的dag腳...
作者:huashiou鏈接:https://segmentfault.com/a/1190000018626163 1、概述 本文以淘寶作為例子,介紹從一百個并發(fā)到千萬級并發(fā)...
airflow調(diào)度和觸發(fā)是通知DAG周期性運(yùn)行的機(jī)制。schedule_interval參數(shù)是調(diào)度和觸發(fā)的參數(shù),有cron表達(dá)式和 datetime.timedelta對象,...