0. 前置條件 MySQL數(shù)據(jù)庫 Python環(huán)境 1. 下載 DataX 工具 (可選) 2. 配置項 3. 執(zhí)行流程-DataX 由xxl-job或其他調(diào)度工具發(fā)起同步 ...
發(fā)簡信
IP屬地：四川
-
優(yōu)雅地使用 DataX 和 Python 同步數(shù)據(jù) -
008-部署安裝 xxl-job
0. 前置條件 MySQL數(shù)據(jù)庫安裝jdk安裝maven 1. 準(zhǔn)備工作 2. Admin配置 用于調(diào)度任務(wù), 管理日志等 3. Executor配置 實際執(zhí)行任務(wù), 可以部...
-
Linux下Python連接Oracle配置和Crontab配置
1. 查看需要連接oracle的版本 2. 下載對應(yīng)的客戶端 python連接遠(yuǎn)程oracle只需要安裝 instantclient-basic-linux.x64-11.2...
-
Python獲取帆軟報表所有SQL問題描述： 需要知道帆軟報表里有哪些SQL, 用于運維或者分析數(shù)據(jù)血緣 解決 用python解析帆軟模板文件里的SQL在帆軟 [管理系統(tǒng)]-[智能運維]-[資源遷移] 下導(dǎo)出...
-
金蝶云蒼穹-KDE-常用腳本
基礎(chǔ) 表單插件 表單插件獲取流程信息 流程插件 流程插件讀寫單據(jù) 加簽時-將父節(jié)點的頁面標(biāo)識賦值給下一個節(jié)點 待更新
-
xxl-job 任務(wù)調(diào)度工具 windows單機版xxl-job for windows 基于 XXL-JOB[https://github.com/xuxueli/xxl-job] 說明 原項目: XXL-JOB[http...
-
Linux 磁盤管理--LVMLVM 相關(guān)技術(shù)屬于是三年用一次, 每次都要從頭學(xué)習(xí), 記錄在這里 > 為什么用LVM 原本linux文件系統(tǒng)是直接安裝在物理磁盤上, 所以當(dāng)空間不夠時只能找個更大的硬盤, ...
-
用PyQueen處理數(shù)據(jù)
PyQueen PyQueen 是一個數(shù)據(jù)處理工具箱, 用于構(gòu)建ETL工作流. 文檔 Document[https://pyqueen.readthedocs.io/en/l...
-
007-docker部署Flink測試PyFlink提交任務(wù)
docker部署 和 Pyflink環(huán)境準(zhǔn)備 創(chuàng)建網(wǎng)絡(luò) 啟動一個 job_manager 和一個 task_manager 訪問 訪問 ip:8099 查看 Web UI P...
-
docker安裝Neo4j + Web可視化
安裝Neo4j docker pull neo4j 啟動 docker run -d --name container_name -p 7474:7474 -p 7687:7...
-
mysql時間字段創(chuàng)建索引和不創(chuàng)建索引查詢性能分析
在數(shù)據(jù)庫設(shè)計的時候，我們經(jīng)常會需要設(shè)計時間字段，在MYSQL中，時間字段可以使用int、timestamp、datetime三種類型來存儲，那么這三種類型哪一種用來存儲時間性...
-
RETE算法簡述 & 實踐1. 概述 Rete 算法是卡內(nèi)基梅隆大學(xué)的 Charles L.Forgy 博士在 1974 年發(fā)表的論文中所闡述的算法。 該算法提供了專家系統(tǒng)的一個高效實現(xiàn)。 Rete ...
-
006-Kettle部署到CentOS
0 準(zhǔn)備好Windows和CentOS, 需要jdk環(huán)境 1.1 windows安裝 官網(wǎng)下載 pdi-ce-9.1.0.0-324.zip 文件,復(fù)制本地C:\Progra...
-
005-Airflow安裝
環(huán)境準(zhǔn)備-Airflow 1.1 Airflow安裝 1.2 Airflow配置 在 /etc/profile 文件添加內(nèi)容 使前述各項配置立即生效 2 初始化 2.1 配置...
-
004-Kylin環(huán)境安裝
環(huán)境準(zhǔn)備-Kylin 基于 Hadoop+HBase+Hive 1.1 Hadoop 安裝配置 參考 [001-軟件環(huán)境安裝) 2.1 HBase 安裝 2.2 HBase ...
-
003-PySpark, Pandas, Modin 運算對比
1.1 數(shù)據(jù)量內(nèi)存支持時Pandas速度更快數(shù)據(jù)量大時Pandas無法計算, PySpark可以時間換空間 1.2 測試腳本
-
001-軟件環(huán)境安裝
環(huán)境準(zhǔn)備-Hadoop+Spark 1.1 python3安裝 1.2 python3配置 2.1 jdk安裝 2.2 java配置 將解壓后的文件夾重命名為jdk方便使用在...
-
Python & Pandas 常用及各種坑
Python字典鍵值互換 輸出固定長度字符串，前面用0填充 Pandas使用concat合并數(shù)據(jù)后groupby有"主鍵"重復(fù) Pandas應(yīng)用groupby 將目標(biāo)列的內(nèi)容...