這次，我們以最簡單的方式 socket 網(wǎng)絡(luò)模型，一步一步地過渡到 I/O 多路復(fù)用。 但我不會具體說到每個系統(tǒng)調(diào)用的參數(shù)，這方面書上肯定比我說得詳細。 最基本的 Socke...
發(fā)簡信
IP屬地：北京
-
這次答應(yīng)我，一舉拿下 I/O 多路復(fù)用 -
Spark Join優(yōu)化-BucketJoin實現(xiàn)偶然讀取到了字節(jié)跳動關(guān)于Spark做的一些優(yōu)化，發(fā)現(xiàn)其中一項被稱為BuckedtJoin的優(yōu)化項 傳送門:Spark SQL 在字節(jié)跳動數(shù)據(jù)倉庫領(lǐng)域的優(yōu)化實踐 [https:...
-
HBase-原理總結(jié)先放一張自己總結(jié)的圖 數(shù)據(jù)模型 一個RegionServer會管理多個Region，一個表的一段鍵值會生成一個Region，個別情況一行數(shù)據(jù)太大也會導(dǎo)致同一段Region根據(jù)...
-
Flink檢查點（checkpoint）、保存點（savepoint）的區(qū)別與聯(lián)系今天聽同事做關(guān)于Docker的技術(shù)分享，結(jié)束時已經(jīng)有點晚了，沒法仔細選題，所以就寫一個所有人都知道的小知識點吧。 checkpoint（檢查點）和savepoint（保存點）...
-
Elasticsearch數(shù)據(jù)類型及其屬性
Elasticsearch數(shù)據(jù)類型及其屬性 一、數(shù)據(jù)類型 字段類型概述 核心類型 1、字符串類型string類型: 在ElasticSearch 舊版本中使用較多，從Elas...
-
讓Spark-Streaming在Yarn上長時間運行對于長時間運行的Spark Streaming作業(yè)，一旦提交到Y(jié)ARN群集便需要永久運行，直到有意停止。任何中斷都會引起嚴重的處理延遲，并可能導(dǎo)致數(shù)據(jù)丟失或重復(fù)。YARN和A...
-
Spark checkpoint 過程介紹 我在學(xué)習(xí) Spark checkpoint 時，發(fā)現(xiàn)網(wǎng)上的教程 只介紹了 某些使用場景，加上只說明 checkpoint 的作用，印象不深刻。通過源碼來學(xué)習(xí) 一是印象更...
-
Spark on Yarn之Executor內(nèi)存管理本文1、2、3節(jié)介紹了Spark 內(nèi)存相關(guān)之識，第4節(jié)描述了常見錯誤類型及產(chǎn)生原因并給出了解決方案。 1 堆內(nèi)和堆外內(nèi)存規(guī)劃 Executor 的內(nèi)存管理建立在 JVM 的內(nèi)...
-
淺析 Spark Shuffle 內(nèi)存使用在使用 Spark 進行計算時，我們經(jīng)常會碰到作業(yè) (Job) Out Of Memory(OOM) 的情況，而且很大一部分情況是發(fā)生在 Shuffle 階段。那么在 Spa...
