發(fā)簡(jiǎn)信
IP屬地：山西
-
spark雜記spark運(yùn)行框架 提交一個(gè)spark應(yīng)用時(shí)候會(huì)對(duì)應(yīng)生成一個(gè)driver進(jìn)程 注冊(cè)spark任務(wù)到cluster manager 申請(qǐng)需要的資源...
-
hive語(yǔ)句大全
hive數(shù)據(jù)庫(kù)是hdfs上的文件夾，表也是文件夾，表里的數(shù)據(jù)是文件hive建表create table t_student(id string,...
-
spark參數(shù)
Driver spark.driver.cores driver端分配的核數(shù)，默認(rèn)為1，thriftserver是啟動(dòng)thriftserver服...
-
Hbase原理系統(tǒng)架構(gòu)圖 從HBase的架構(gòu)圖上可以看出，HBase中的組件包括Client、Zookeeper、HMaster、HRegionServer、...
-
hive數(shù)據(jù)傾斜原因解決方法
Hive傾斜之group by聚合傾斜 原因： 分組的維度過(guò)少，每個(gè)維度的值過(guò)多，導(dǎo)致處理某值的reduce耗時(shí)很久； 對(duì)一些類型統(tǒng)計(jì)的時(shí)候某種...
-
spark開(kāi)發(fā)調(diào)優(yōu)1. 避免重復(fù)創(chuàng)建RDD 通常來(lái)說(shuō)，我們?cè)陂_(kāi)發(fā)一個(gè)Spark作業(yè)時(shí)，首先是基于某個(gè)數(shù)據(jù)源（比如Hive表或HDFS文件）創(chuàng)建一個(gè)初始的RDD；接...
-
spark廣播變量累加器背景 在spark程序中，當(dāng)一個(gè)傳遞給Spark操作(例如map和reduce)的函數(shù)在遠(yuǎn)程節(jié)點(diǎn)上面運(yùn)行時(shí)，Spark操作實(shí)際上操作的是這個(gè)函數(shù)...
-
spark運(yùn)行流程spark中基本概念 Application：表示你的應(yīng)用程序 Driver：表示main()函數(shù)，創(chuàng)建SparkContext。由SparkC...
-
RDD與算子什么是RDD RDD（Resilient Distributed Dataset）叫做彈性分布式數(shù)據(jù)集，是Spark中最基本的數(shù)據(jù)抽象，它代表一...