可以分為 繁忙程度 util 響應速度 await 獲取數據 /proc/diskstats 以Linux為例，該服務器上有一塊vda設備，該vda設備的diskstat...
發(fā)簡信
IP屬地：福建
-
關于服務器IO監(jiān)控的了解
-
【SSL】SSL雙向認證雙向認證 SSL 協(xié)議要求服務器和用戶雙方都有證書。 單向認證 SSL 協(xié)議不需要客戶擁有CA證書，具體的過程相對于上面的步驟，只需將服務器端驗證客戶證書的過程去掉，以及在協(xié)...
-
Supervisor的作用與配置
supervisor supervisor管理進程，是通過fork/exec的方式將這些被管理的進程當作supervisor的子進程來啟動，所以我們只需要將要管理進程的可執(zhí)行...
-
啟動Spark時遇到的HDFS user的讀寫權限問題：ERROR spark.SparkContext: Error initializing SparkContext. org.apache...
之前在為客戶做數據湖產品調試Spark程序的時候，遇到過一個報錯： 一、原因分析 從日志中大致可以看出，是因為Spark在啟動階段初始化SparkContext時遇到了wri...
-
427.【數據庫】starrocks 安裝踩坑
starrocks官網的部署文檔[https://docs.starrocks.com/zh-cn/latest/quick_start/Deploy]還是蠻詳細的，可還是有...
-
Spark會把數據都載入到內存么？
這篇文章算是個科普貼。如果已經熟悉Spark的就略過吧。 前言 很多初學者其實對Spark的編程模式還是RDD這個概念理解不到位，就會產生一些誤解。 比如，很多時候我們常常以...
-
too many open files 的終極解決辦法
關于我：https://blog.csdn.net/Appleyk[https://blog.csdn.net/Appleyk] ====簡書就是隨便記錄，不會太詳細，不會注...
-
flink solt和并行度簡介 Flink運行時主要角色有兩個：JobManager和TaskManager，無論是standalone集群，flink on yarn都是要啟動這兩個角色。JobMa...
-
Flink任務日志寫到kafka【最新1.12，1.13】
這篇文章如果對你有幫助，記得點贊哦！有問題也可以給我評論~ 一、背景 公司的日志希望能夠同一到一個Kibana去做一個同一的展示，那就需要將任務的日志寫到kafka。Flin...
-
Flink系列（一）數據集類型和數據運算模型數據集類型： 無窮數據集：無窮的持續(xù)集成的數據集合 有界數據集：有限不會改變的數據集合 常見的無窮數據集有： 用戶與客戶端的實時交互數據 應用實時產生的日志 金融市場的實時交...
-
impala + kudu一些優(yōu)化心得
用了幾次impala + kudu做大數據實時計算場景，一路踏坑過來，這里分享踏坑經驗 一開始需要全量導入kudu，這時候我們先用sqoop把關系數據庫數據導入臨時表，再用i...
-
Spark Structured Streaming 寫checkpoint 到HDFS 抖動的排查問題描述 我們最近有個項目，需要實時消費訂單成單的消息，提煉完數據后把結果寫入HDFS，因此checkpointConfiguration 自然而然也采用默認配置寫到HDFS...
-
Spark Structured Streaming 2.4 踩的一些坑最近參與一個公司大數據項目開始入坑Spark，Spark從2.0開始從RDD 的底層API轉向了面向Dataset/Dataframe 的高級API，Spark Stream...
-
Netty入門教程——認識Netty什么是Netty？ Netty 是一個利用 Java 的高級網絡的能力，隱藏其背后的復雜性而提供一個易于使用的 API 的客戶端/服務器框架。Netty 是一個廣泛使用的 J...
-
消息中間件—Kafka數據存儲（一）摘要：消息存儲對于每一款消息隊列都非常重要，那么Kafka在這方面是如何來設計做到高效的呢？Kafka這款分布式消息隊列使用文件系統(tǒng)和操作系統(tǒng)的頁緩存（page cache）...
-
