從事了多年的大數(shù)據(jù)開發(fā)，不甘心一直做小羅羅，希望在更上一層。在此立下復(fù)習(xí)目錄，分享多年的大數(shù)據(jù)開發(fā)和數(shù)倉(cāng)經(jīng)驗(yàn)，實(shí)現(xiàn)目標(biāo)，共勉 Flink開發(fā)(1.架構(gòu) 2.實(shí)時(shí)開發(fā)(項(xiàng)目案例...
發(fā)簡(jiǎn)信
IP屬地：江西
-
大數(shù)據(jù)架構(gòu)進(jìn)階目錄
-
這個(gè)是自己處理的一個(gè)工具類
python watchdog 實(shí)現(xiàn)文件目錄的監(jiān)控
使用: 如果想監(jiān)控目錄，做相應(yīng)邏輯處理(不想大費(fèi)周章)，相信這會(huì)是你很好的選擇 **需求: 實(shí)現(xiàn)linux 目錄監(jiān)控，將新增的文件放入處理引擎中執(zhí)行, python 3以上 ...
-
-
-
-
【史上精華】月薪3萬(wàn)的程序員都在用的效率工具因?yàn)橛泄ぞ叩拇嬖?，我們的工作和生活才發(fā)生了翻天覆地的變化，善于運(yùn)用工具，可以大大提高工作和生活效率，節(jié)省時(shí)間，本文將和大家分享一些程序員必備的工具，歡迎收藏分享。 1、Git...
-
azkaban 中條件調(diào)度實(shí)例
如果有一個(gè)小時(shí)任務(wù)，但是需要明天在將昨天的數(shù)據(jù)運(yùn)行一次怎么做 這里需要用到azkaban的condition過(guò)濾 定義條件腳本:write_to_props.sh 2.定義j...
-
airflow 1.10安裝本次安裝Airflow版本為1.10，其需要依賴Python3.6和DB，本次選擇的DB為Mysql mysql安裝 參考文檔: [https://blog.csdn.net...
-
mysql json 分組排序
需求: 統(tǒng)計(jì)用戶各個(gè)維度信息，放入json串中 參考mysql json文檔(注意: json 類型時(shí)mysql5.7以上才出來(lái)，以前可以用text類型代替): 里面包含各種...
-
python watchdog 實(shí)現(xiàn)文件目錄的監(jiān)控
使用: 如果想監(jiān)控目錄，做相應(yīng)邏輯處理(不想大費(fèi)周章)，相信這會(huì)是你很好的選擇 **需求: 實(shí)現(xiàn)linux 目錄監(jiān)控，將新增的文件放入處理引擎中執(zhí)行, python 3以上 ...
-
python-gitlab自動(dòng)同步mysql存儲(chǔ)過(guò)程以及本地文件上傳gitlab
**運(yùn)行環(huán)境: Python 2.7.5 , linux ** 參考文檔 restfulAPI: https://docs.gitlab.com/ee/api/官方Api: ...
-
