data-pipeline（分布式采數(shù)應(yīng)用）數(shù)據(jù)模型

data-pipeline是基于springboot實(shí)現(xiàn)分布式的數(shù)據(jù)采集應(yīng)用。下面羅列data-pipeline的數(shù)據(jù)模型。

  • DB_DATABASE_INFO：存儲(chǔ)連接驅(qū)動(dòng)的信息，預(yù)檢或采數(shù)都需要通過該表初始化連接。
CREATE TABLE `DB_DATABASE_INFO` (
  `ID` varchar(32) NOT NULL COMMENT '主鍵',
  `ALIAS_NAME` varchar(100) NOT NULL COMMENT '別名|查詢:是|列表:是|匹配:全模糊',
  `DB_TYPE` tinyint(1) NOT NULL DEFAULT 1 COMMENT '數(shù)據(jù)庫類型:1-MYSQL;2-ORACLE|列表:是',
  `DRIVER_INFO` varchar(200) NOT NULL COMMENT '驅(qū)動(dòng)信息|查詢:是|列表:是|匹配:全模糊',
  `REMOTE_URL` varchar(300) NOT NULL COMMENT '訪問url|列表:是',
  `USER_NAME` varchar(100) DEFAULT NULL COMMENT '用戶名|查詢:是|列表:是|匹配:全模糊',
  `PASSWORD` varchar(200) DEFAULT NULL COMMENT '密碼',
  `CREATE_USER_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '創(chuàng)建人',
  `CREATE_DATE` varchar(8) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '創(chuàng)建日期',
  `CREATE_ORG_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '創(chuàng)建機(jī)構(gòu)id',
  `CREATE_TIME` datetime NOT NULL COMMENT '創(chuàng)建時(shí)間|列表:是',
  `UPDATE_USER_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '更新人id',
  `UPDATE_DATE` varchar(8) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '更新日期',
  `UPDATE_ORG_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '更新機(jī)構(gòu)id',
  `UPDATE_TIME` datetime DEFAULT NULL COMMENT '更新時(shí)間',
  PRIMARY KEY (`ID`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='驅(qū)動(dòng)信息表'
  • DB_TASK_SCRIPT：存儲(chǔ)腳本信息。
CREATE TABLE `DB_TASK_SCRIPT` (
  `ID` varchar(32) NOT NULL COMMENT '主鍵',
  `SCRIPT_NAME` varchar(20) NOT NULL COMMENT '腳本名稱|查詢:是|列表:是|匹配:全模糊',
  `SCRIPT` mediumtext NOT NULL COMMENT '腳本',
  `REMARK` varchar(500) DEFAULT NULL COMMENT '備注|列表:是',
  `CREATE_USER_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '創(chuàng)建人',
  `CREATE_DATE` varchar(8) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '創(chuàng)建日期',
  `CREATE_ORG_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '創(chuàng)建機(jī)構(gòu)id',
  `CREATE_TIME` datetime NOT NULL COMMENT '創(chuàng)建時(shí)間|列表:是',
  `UPDATE_USER_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '更新人id',
  `UPDATE_DATE` varchar(8) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '更新日期',
  `UPDATE_ORG_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '更新機(jī)構(gòu)id',
  `UPDATE_TIME` datetime DEFAULT NULL COMMENT '更新時(shí)間',
  PRIMARY KEY (`ID`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='腳本信息'
  • DB_TASK_FIELD_MAPPING_INFO：存儲(chǔ)一個(gè)任務(wù)讀入和寫出數(shù)據(jù)的變量映射
CREATE TABLE `DB_TASK_FIELD_MAPPING_INFO` (
  `ID` varchar(32) NOT NULL COMMENT '主鍵',
  `TASK_ID` varchar(32) NOT NULL COMMENT '任務(wù)ID|匹配:相等',
  `SOURCE_FIELD` varchar(50) NOT NULL COMMENT '源字段',
  `ID_FLAG` tinyint(1) NOT NULL DEFAULT 0 COMMENT '是否主鍵',
  `TARGET_FIELD` varchar(50) NOT NULL COMMENT '目標(biāo)字段',
  `EXPRESSION` varchar(100) DEFAULT NULL COMMENT '表達(dá)式',
  `REMARK` varchar(100) DEFAULT NULL COMMENT '備注',
  `CREATE_USER_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '創(chuàng)建人',
  `CREATE_DATE` varchar(8) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '創(chuàng)建日期',
  `CREATE_ORG_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '創(chuàng)建機(jī)構(gòu)id',
  `CREATE_TIME` datetime NOT NULL COMMENT '創(chuàng)建時(shí)間',
  `UPDATE_USER_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '更新人id',
  `UPDATE_DATE` varchar(8) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '更新日期',
  `UPDATE_ORG_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '更新機(jī)構(gòu)id',
  `UPDATE_TIME` datetime DEFAULT NULL COMMENT '更新時(shí)間',
  PRIMARY KEY (`ID`),
  KEY `DB_TASK_FIELD_MAPPING_INFO_TASK_ID_IDX` (`TASK_ID`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='任務(wù)字段映射表'
  • DB_TASK_GROUP_INFO：一個(gè)任務(wù)組對(duì)應(yīng)多個(gè)任務(wù)，可以調(diào)整任務(wù)順序，達(dá)到控制任務(wù)執(zhí)行的順序；
CREATE TABLE `DB_TASK_GROUP_INFO` (
  `ID` varchar(32) NOT NULL COMMENT '主鍵',
  `GROUP_NAME` varchar(30) NOT NULL COMMENT '組名稱|查詢:是|列表:是|匹配:全模糊',
  `EXECUTE_TYPE` tinyint(1) NOT NULL DEFAULT 1 COMMENT '執(zhí)行類型',
  `EXECUTE_STATUS` tinyint(2) NOT NULL COMMENT '執(zhí)行狀態(tài): -1-執(zhí)行失??；1-待執(zhí)行；2-執(zhí)行中；3-執(zhí)行完成|查詢:是|列表:是|匹配:相等|下拉:groupExecuteStatus',
  `CRON` varchar(50) DEFAULT NULL COMMENT 'cron表達(dá)式',
  `DELAY_SECONDS` int(11) DEFAULT NULL COMMENT '延遲秒數(shù)',
  `EXECUTE_IP` varchar(30) DEFAULT NULL COMMENT '執(zhí)行IP|列表:是',
  `EXECUTE_BATCH_NO` varchar(20) DEFAULT NULL COMMENT '執(zhí)行批次號(hào)|列表:是',
  `LAST_EXECUTE_TIME` datetime DEFAULT NULL COMMENT '上次執(zhí)行時(shí)間|列表:是',
  `REMARK` varchar(400) DEFAULT NULL COMMENT '備注',
  `CREATE_USER_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '創(chuàng)建人',
  `CREATE_DATE` varchar(8) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '創(chuàng)建日期',
  `CREATE_ORG_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '創(chuàng)建機(jī)構(gòu)id',
  `CREATE_TIME` datetime NOT NULL COMMENT '創(chuàng)建時(shí)間|列表:是',
  `UPDATE_USER_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '更新人id',
  `UPDATE_DATE` varchar(8) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '更新日期',
  `UPDATE_ORG_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '更新機(jī)構(gòu)id',
  `UPDATE_TIME` datetime DEFAULT NULL COMMENT '更新時(shí)間|列表:是',
  PRIMARY KEY (`ID`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='任務(wù)組信息表'
  • DB_TASK_GROUP_RELATION 存儲(chǔ)任務(wù)組和任務(wù)的關(guān)系，任務(wù)執(zhí)行的順序也在這張表；
CREATE TABLE `DB_TASK_GROUP_RELATION` (
  `ID` varchar(32) NOT NULL COMMENT '主鍵',
  `TASK_GROUP_ID` varchar(32) NOT NULL COMMENT '任務(wù)組ID||匹配:相等',
  `TASK_ID` varchar(32) NOT NULL COMMENT '任務(wù)ID',
  `SORT_NO` int(4) NOT NULL DEFAULT 1 COMMENT '排序號(hào)',
  `CREATE_USER_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '創(chuàng)建人',
  `CREATE_DATE` varchar(8) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '創(chuàng)建日期',
  `CREATE_ORG_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '創(chuàng)建機(jī)構(gòu)id',
  `CREATE_TIME` datetime NOT NULL COMMENT '創(chuàng)建時(shí)間',
  `UPDATE_USER_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '更新人id',
  `UPDATE_DATE` varchar(8) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '更新日期',
  `UPDATE_ORG_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '更新機(jī)構(gòu)id',
  `UPDATE_TIME` datetime DEFAULT NULL COMMENT '更新時(shí)間',
  PRIMARY KEY (`ID`),
  UNIQUE KEY `DB_TASK_GROUP_RELATION_TASK_ID_IDX` (`TASK_ID`,`TASK_GROUP_ID`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='任務(wù)組關(guān)系表'
  • DB_TASK_EXECUTE_INFO：記錄任務(wù)的的執(zhí)行記錄，任務(wù)組每次執(zhí)行都會(huì)生成一個(gè)批次號(hào)，可通過該批次號(hào)查看一個(gè)任務(wù)組的一次完整執(zhí)行情況。
CREATE TABLE `DB_TASK_EXECUTE_INFO` (
  `ID` varchar(32) NOT NULL COMMENT '主鍵',
  `TASK_GROUP_ID` varchar(32) DEFAULT NULL COMMENT '任務(wù)組ID|匹配:相等',
  `TASK_ID` varchar(32) NOT NULL COMMENT '任務(wù)ID',
  `EXECUTE_STATUS` tinyint(2) NOT NULL DEFAULT 1 COMMENT '執(zhí)行狀態(tài)：1-待執(zhí)行；2-執(zhí)行中；3-已完成；4-失敗|列表:是',
  `EXECUTE_IP` varchar(30) NOT NULL COMMENT '執(zhí)行IP',
  `START_TIME` datetime NOT NULL COMMENT '執(zhí)行開始時(shí)間|列表:是',
  `END_TIME` datetime DEFAULT NULL COMMENT '執(zhí)行結(jié)束時(shí)間|列表:是',
  `EXECUTE_BATCH_NO` varchar(20) NOT NULL COMMENT '執(zhí)行批次號(hào)|查詢:是|列表:是|匹配:相等',
  `CREATE_USER_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '創(chuàng)建人',
  `CREATE_DATE` varchar(8) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '創(chuàng)建日期',
  `CREATE_ORG_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '創(chuàng)建機(jī)構(gòu)id',
  `CREATE_TIME` datetime NOT NULL COMMENT '創(chuàng)建時(shí)間|列表:是',
  `UPDATE_USER_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '更新人id',
  `UPDATE_DATE` varchar(8) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '更新日期',
  `UPDATE_ORG_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '更新機(jī)構(gòu)id',
  `UPDATE_TIME` datetime DEFAULT NULL COMMENT '更新時(shí)間',
  PRIMARY KEY (`ID`),
  KEY `DB_TASK_EXECUTE_INFO_TASK_ID_IDX` (`TASK_ID`,`TASK_GROUP_ID`) USING BTREE,
  KEY `DB_TASK_EXECUTE_INFO_TASK_GROUP_ID_IDX` (`TASK_GROUP_ID`,`EXECUTE_BATCH_NO`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='任務(wù)執(zhí)行信息表'
  • DB_USER_INFO：用戶信息表
CREATE TABLE `DB_USER_INFO` (
  `ID` varchar(32) NOT NULL COMMENT '主鍵|列表:是',
  `USER_NAME` varchar(30) NOT NULL COMMENT '用戶名|列表:是|查詢:是|匹配:全模糊',
  `LOGIN_NAME` varchar(100) NOT NULL COMMENT '登錄名|列表:是|查詢:是|匹配:全模糊',
  `PASSWORD` varchar(100) NOT NULL COMMENT '密碼',
  `USER_STATUS` tinyint(2) NOT NULL COMMENT '用戶狀態(tài)。1-啟用；2-禁用|列表:是',
  `CREATE_USER_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '創(chuàng)建人',
  `CREATE_DATE` varchar(8) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '創(chuàng)建日期',
  `CREATE_ORG_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '創(chuàng)建機(jī)構(gòu)id',
  `CREATE_TIME` datetime NOT NULL COMMENT '創(chuàng)建時(shí)間 | 列表: 是',
  `UPDATE_USER_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '更新人id',
  `UPDATE_DATE` varchar(8) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '更新日期',
  `UPDATE_ORG_ID` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '更新機(jī)構(gòu)id',
  `UPDATE_TIME` datetime DEFAULT NULL COMMENT '更新時(shí)間',
  PRIMARY KEY (`ID`),
  UNIQUE KEY `JDF_USER_INFO_LOGIN_NAME_IDX` (`LOGIN_NAME`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='用戶信息表'
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容