可以分為 繁忙程度 util 響應(yīng)速度 await 獲取數(shù)據(jù) /proc/diskstats 以Linux為例，該服務(wù)器上有一塊vda設(shè)備，該vda設(shè)備的diskstat...
發(fā)簡(jiǎn)信
IP屬地：甘肅
-
關(guān)于服務(wù)器IO監(jiān)控的了解
-
【SSL】SSL雙向認(rèn)證雙向認(rèn)證 SSL 協(xié)議要求服務(wù)器和用戶雙方都有證書。 單向認(rèn)證 SSL 協(xié)議不需要客戶擁有CA證書，具體的過(guò)程相對(duì)于上面的步驟，只需將服務(wù)器端驗(yàn)證客戶證書的過(guò)程去掉，以及在協(xié)...
-
Supervisor的作用與配置
supervisor supervisor管理進(jìn)程，是通過(guò)fork/exec的方式將這些被管理的進(jìn)程當(dāng)作supervisor的子進(jìn)程來(lái)啟動(dòng)，所以我們只需要將要管理進(jìn)程的可執(zhí)行...
-
啟動(dòng)Spark時(shí)遇到的HDFS user的讀寫權(quán)限問題：ERROR spark.SparkContext: Error initializing SparkContext. org.apache...
之前在為客戶做數(shù)據(jù)湖產(chǎn)品調(diào)試Spark程序的時(shí)候，遇到過(guò)一個(gè)報(bào)錯(cuò)： 一、原因分析 從日志中大致可以看出，是因?yàn)镾park在啟動(dòng)階段初始化SparkContext時(shí)遇到了wri...
-
427.【數(shù)據(jù)庫(kù)】starrocks 安裝踩坑
starrocks官網(wǎng)的部署文檔[https://docs.starrocks.com/zh-cn/latest/quick_start/Deploy]還是蠻詳細(xì)的，可還是有...
-
Spark會(huì)把數(shù)據(jù)都載入到內(nèi)存么？
這篇文章算是個(gè)科普貼。如果已經(jīng)熟悉Spark的就略過(guò)吧。 前言 很多初學(xué)者其實(shí)對(duì)Spark的編程模式還是RDD這個(gè)概念理解不到位，就會(huì)產(chǎn)生一些誤解。 比如，很多時(shí)候我們常常以...
-
too many open files 的終極解決辦法
關(guān)于我：https://blog.csdn.net/Appleyk[https://blog.csdn.net/Appleyk] ====簡(jiǎn)書就是隨便記錄，不會(huì)太詳細(xì)，不會(huì)注...
-
flink solt和并行度簡(jiǎn)介 Flink運(yùn)行時(shí)主要角色有兩個(gè)：JobManager和TaskManager，無(wú)論是standalone集群，flink on yarn都是要啟動(dòng)這兩個(gè)角色。JobMa...
-
Flink任務(wù)日志寫到kafka【最新1.12，1.13】
這篇文章如果對(duì)你有幫助，記得點(diǎn)贊哦！有問題也可以給我評(píng)論~ 一、背景 公司的日志希望能夠同一到一個(gè)Kibana去做一個(gè)同一的展示，那就需要將任務(wù)的日志寫到kafka。Flin...
-
Flink系列（一）數(shù)據(jù)集類型和數(shù)據(jù)運(yùn)算模型數(shù)據(jù)集類型： 無(wú)窮數(shù)據(jù)集：無(wú)窮的持續(xù)集成的數(shù)據(jù)集合 有界數(shù)據(jù)集：有限不會(huì)改變的數(shù)據(jù)集合 常見的無(wú)窮數(shù)據(jù)集有： 用戶與客戶端的實(shí)時(shí)交互數(shù)據(jù) 應(yīng)用實(shí)時(shí)產(chǎn)生的日志 金融市場(chǎng)的實(shí)時(shí)交...
-
深入理解SPI機(jī)制
一、什么是SPI SPI ，全稱為 Service Provider Interface，是一種服務(wù)發(fā)現(xiàn)機(jī)制。它通過(guò)在ClassPath路徑下的META-INF/servic...
-
impala + kudu一些優(yōu)化心得
用了幾次impala + kudu做大數(shù)據(jù)實(shí)時(shí)計(jì)算場(chǎng)景，一路踏坑過(guò)來(lái)，這里分享踏坑經(jīng)驗(yàn) 一開始需要全量導(dǎo)入kudu，這時(shí)候我們先用sqoop把關(guān)系數(shù)據(jù)庫(kù)數(shù)據(jù)導(dǎo)入臨時(shí)表，再用i...
-
Spark Structured Streaming 寫checkpoint 到HDFS 抖動(dòng)的排查問題描述 我們最近有個(gè)項(xiàng)目，需要實(shí)時(shí)消費(fèi)訂單成單的消息，提煉完數(shù)據(jù)后把結(jié)果寫入HDFS，因此checkpointConfiguration 自然而然也采用默認(rèn)配置寫到HDFS...
-
VIP唯品會(huì) Senior Java Developer<br><br>目前從事唯品會(huì)搜索服務(wù)平臺(tái)Elasticsearch相關(guān)開發(fā)工作<br><br><br>微信請(qǐng)掃
-
Spark Structured Streaming 2.4 踩的一些坑最近參與一個(gè)公司大數(shù)據(jù)項(xiàng)目開始入坑Spark，Spark從2.0開始從RDD 的底層API轉(zhuǎn)向了面向Dataset/Dataframe 的高級(jí)API，Spark Stream...
-
Netty入門教程——認(rèn)識(shí)Netty什么是Netty？ Netty 是一個(gè)利用 Java 的高級(jí)網(wǎng)絡(luò)的能力，隱藏其背后的復(fù)雜性而提供一個(gè)易于使用的 API 的客戶端/服務(wù)器框架。Netty 是一個(gè)廣泛使用的 J...
-
消息中間件—Kafka數(shù)據(jù)存儲(chǔ)（一）摘要：消息存儲(chǔ)對(duì)于每一款消息隊(duì)列都非常重要，那么Kafka在這方面是如何來(lái)設(shè)計(jì)做到高效的呢？Kafka這款分布式消息隊(duì)列使用文件系統(tǒng)和操作系統(tǒng)的頁(yè)緩存（page cache）...
-
專注于大數(shù)據(jù)平臺(tái)化、數(shù)據(jù)可觀測(cè)性和數(shù)據(jù)可視化
-
Region詳解1 層級(jí)結(jié)構(gòu) Table (HBase 表) Region(表的Regions)Store(Region中以列族為單位的單元)MemStore (用于寫緩存)Stor...
-
B站Up主
