本文主要介紹dataworks的運維中心、智能監(jiān)控
一.運維中心
運維中心在是dataworks當(dāng)中的任務(wù)調(diào)度模塊,我們書寫好業(yè)務(wù)流程后,會把業(yè)務(wù)流程進行提交,提交后的業(yè)務(wù)流程就會在運維中心進行顯示,會按照你設(shè)置節(jié)點的調(diào)度周期開始調(diào)度任務(wù)。
ps:如果是雙環(huán)境任務(wù)的話,運維中心也會有兩個,可在DAG圖里面查看當(dāng)前環(huán)境是開發(fā)還是生產(chǎn)。
運維大屏
顯示 的是已有的任務(wù)調(diào)度情況,包括新增的任務(wù),失敗的、正在運行中的都可以看到
實時任務(wù)運維
需要實時計算引擎,這里暫時還沒有,以后給大家介紹
周期任務(wù)運維
離線任務(wù)節(jié)點信息,我們配置好離線任務(wù)發(fā)布后就是在這里進行調(diào)度維護的,如果是雙環(huán)境的話,開發(fā)環(huán)境提交的任務(wù)節(jié)點就是在開發(fā)運維環(huán)境,在編輯節(jié)點的時候點擊發(fā)布按鈕才是提交到生產(chǎn)環(huán)境。
周期任務(wù)運維分為四個功能 周期任務(wù)、周期實例、補數(shù)據(jù)實例、測試實例
周期任務(wù):就是可以查看到我們提交的r離線任務(wù)節(jié)點,在這里可以查看到我們離線任務(wù)的DAG圖,血緣關(guān)系,并可以添加報警信息,進行測試,和補數(shù)據(jù)、凍結(jié)節(jié)點、下線節(jié)點等操作
周期實例:會按照調(diào)度周期,每天生成實例,如果是日調(diào)度,那么在周期實例里,每天都會有一個實例,如果是小時那么一天會有24個實例,可以選擇日期進行查看。
補數(shù)據(jù)實例:補數(shù)據(jù)就是針對我們以前缺失的數(shù)據(jù)進行補數(shù)據(jù),可以選擇當(dāng)前節(jié)點和當(dāng)前及下節(jié)點。
測試實例:就是我們再周期任務(wù)里點擊測試生成的實例,每一次節(jié)點的測試都會生成測試實例,在這里進行觀看,可以看到實例的運行任務(wù)和日志等情況
手動任務(wù)運維:
區(qū)別我們的周期任務(wù),我們的周期任務(wù)都有調(diào)度周期,但是手動任務(wù)是沒有的,例如某些任務(wù)需要臨時補救的操作或者數(shù)據(jù)調(diào)整,只是用一次或者幾次而且調(diào)度時間都不相同的話,可以創(chuàng)建手動任務(wù)來進行調(diào)度。
智能監(jiān)控:
智能監(jiān)控這邊主要是為了監(jiān)控我們的調(diào)度任務(wù)節(jié)點一些運行情況
主要使用到的還是添加一些報警信息,在報警信息里面可以添加我們的報警郵件和短信,也可以把報警信息添加到我們的釘釘群里
規(guī)則管理:主要就是我們數(shù)據(jù)質(zhì)量的規(guī)則設(shè)定,詳情請看上一篇文章
二、總結(jié)
這一片寫的相對減少,主要是網(wǎng)不太好,一會斷一會斷的,只要掌握這些操作,至少你使用阿里云大數(shù)據(jù)服務(wù)操作基本沒什么問題,從數(shù)據(jù)的采集到數(shù)據(jù)加工到數(shù)據(jù)同步,任務(wù)的調(diào)度、任務(wù)監(jiān)控這一系列的文章里都有介紹,如有什么描述不清楚的還望多多批評指正,如有問題,請評論交流 謝謝瀏覽