發(fā)簡信
IP屬地：北京
-
spark開發(fā)調(diào)優(yōu)開發(fā)調(diào)優(yōu)原則一：避免創(chuàng)建重復(fù)的RDD原則二：盡可能復(fù)用同一個(gè)RDD原則三：對多次使用的RDD進(jìn)行持久化Spark的持久化級別原則四：盡量避免使用...
-
HDFS架構(gòu)
1.hadoop1.x hdfs架構(gòu)圖 3.hdfs寫流程客戶端要向HDFS寫數(shù)據(jù)，首先要跟namenode通信以確認(rèn)可以寫文件并獲得接收文件b...
-
HDFS簡介HDFS是傳統(tǒng)的Master-Slave架構(gòu)：一個(gè)集群由一個(gè)Master節(jié)點(diǎn)和若干個(gè)Slave節(jié)點(diǎn)組成。在HDFS中，Master節(jié)點(diǎn)稱為Nam...
-
kafka 架構(gòu)https://www.cnblogs.com/cyfonly/p/5954614.html 2.1 拓?fù)浣Y(jié)構(gòu) 2.2 相關(guān)概念 1.produ...
-
spark數(shù)據(jù)傾斜一、數(shù)據(jù)傾斜 數(shù)據(jù)傾斜一般發(fā)生在對數(shù)據(jù)進(jìn)行重新劃分以及聚合的處理過程中。執(zhí)行Spark作業(yè)時(shí)，數(shù)據(jù)傾斜一般發(fā)生在shuffle過程中，因?yàn)镾pa...
-
hive的優(yōu)化點(diǎn)，能夠提升的效率差異比較重要是頭幾個(gè)和后幾個(gè)，尤其是最后兩個(gè)，性能提升效果是最明顯的。但是會(huì)同時(shí)開啟更多的MR任務(wù)，這就需要一個(gè)平衡了。 嵌套SQL并行執(zhí)行優(yōu)化: ...
-
SPARK優(yōu)化
1.1、 分配更多資源 1.1.1、分配哪些資源？ Executor的數(shù)量 每個(gè)Executor所能分配的CPU數(shù)量 每個(gè)Executor所能分...
-
hbase大規(guī)模數(shù)據(jù)寫入的優(yōu)化歷程
業(yè)務(wù)背景：由于需要將ngix日志過濾出來的1億+條用戶行為記錄存入Hbase數(shù)據(jù)庫，以此根據(jù)一定的條件來提供近實(shí)時(shí)查詢，比如根據(jù)用戶id及一定的...
-
HBase工作原理學(xué)習(xí)
HBase工作原理學(xué)習(xí) 1 HBase簡介 HBase是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，利用HBase技術(shù)可在廉價(jià)PC S...