發(fā)簡信
IP屬地：山西
-
spark雜記spark運行框架 提交一個spark應用時候會對應生成一個driver進程 注冊spark任務到cluster manager 申請需要的資源...
-
hive語句大全
hive數(shù)據(jù)庫是hdfs上的文件夾，表也是文件夾，表里的數(shù)據(jù)是文件hive建表create table t_student(id string,...
-
spark參數(shù)
Driver spark.driver.cores driver端分配的核數(shù)，默認為1，thriftserver是啟動thriftserver服...
-
Hbase原理系統(tǒng)架構圖 從HBase的架構圖上可以看出，HBase中的組件包括Client、Zookeeper、HMaster、HRegionServer、...
-
hive數(shù)據(jù)傾斜原因解決方法
Hive傾斜之group by聚合傾斜 原因： 分組的維度過少，每個維度的值過多，導致處理某值的reduce耗時很久； 對一些類型統(tǒng)計的時候某種...
-
spark開發(fā)調(diào)優(yōu)1. 避免重復創(chuàng)建RDD 通常來說，我們在開發(fā)一個Spark作業(yè)時，首先是基于某個數(shù)據(jù)源（比如Hive表或HDFS文件）創(chuàng)建一個初始的RDD；接...
-
spark廣播變量累加器背景 在spark程序中，當一個傳遞給Spark操作(例如map和reduce)的函數(shù)在遠程節(jié)點上面運行時，Spark操作實際上操作的是這個函數(shù)...
-
spark運行流程spark中基本概念 Application：表示你的應用程序 Driver：表示main()函數(shù)，創(chuàng)建SparkContext。由SparkC...
-
RDD與算子什么是RDD RDD（Resilient Distributed Dataset）叫做彈性分布式數(shù)據(jù)集，是Spark中最基本的數(shù)據(jù)抽象，它代表一...