以前的定時任務都是使用 for循環(huán)加 sleep ，這種偽裝的定時任務 有很大的局限性，為了 更好的使用數據流傳輸 到 hdfs，我們在不借助工具的前提下 使用 scp ...
IP屬地：北京
-
關于 linux crontab 定時任務的一些思考 -
clickhouse 在hdfs 和本地推數據
CREATE TABLE test.democcc( id Int8, name String) ENGINE=Log; hadoop fs -cat /test001/zg...
-
spark創(chuàng)建maven工程創(chuàng)建scala目錄并編譯背景 我創(chuàng)建spark的maven工程的時候，在java目錄同級還創(chuàng)建了一個scala目錄。這就得考慮編譯相關的事了。 解決 1、創(chuàng)建source folder 如下圖所示，...
-
linux 查看負載和使用情況 top
top命令是看當前進程的cpu和內存等的占用情況 參數解析 對上面第三行的解釋： us（user cpu time）：用戶態(tài)使用的cpu時間比。該值較高時，說明用戶進程消耗的...
-
maven deploy上傳本地jar至nexus
maven deploy相關命令(樣例) mvn deploy:deploy-file -Dmaven.test.skip=true -Dfile=XCloudJDBC_v2...
-
docker的Data Volume（數據卷) 淺析
背景 最近自己寫一個dockerfile基于一個基礎的image，但是基于這個基礎的image生成的容器里面有一層目錄有些多余，我想把它刪除掉。但是發(fā)現刪除不了，報錯為can...
-
Jenkins 自動化構建前言 這里只是講一些Jenkins基礎的使用情況 作用 jenkins的作用是把github或者gitlab等倉庫里的東西取出來，然后在jenkins容器中編譯打包，然后執(zhí)行...
-
elasticsearch的ingest node講解以及Pipeline和grok分析
參考資料https://blog.csdn.net/UbuntuTouch/article/details/99702199[https://blog.csdn.net/Ub...
-
Filebeat向Elasticsearch輸入log，合并行
參考資料https://blog.csdn.net/qq_41154522/article/details/107283490[https://blog.csdn.net/q...
-
FileBeat向elasticsearch傳入數據，并使用GROK處理
背景 最近在搗鼓Filebeat監(jiān)聽springboot的日志然后將其傳入到es中。這個時候日志肯定要切分單獨字段存儲。這個時候用到了es自帶的ingest node pip...
