發(fā)簡信
IP屬地：湖南
-
-
如果讀完覺得有收獲的話，歡迎關(guān)注我的公眾號(hào)：占小狼的博客 <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fdwz.cn%2FD8Q1K7Ft" target="_blank">https://dwz.cn/D8Q1K7Ft</a><br><br><br>
-
spark之shuffle原理及性能優(yōu)化1.spark的shuffleManager是負(fù)責(zé)shuffle過程的執(zhí)行、計(jì)算和處理的組件。shuffleManager是trait，主要實(shí)現(xiàn)類有兩個(gè)：HashShuffl...
-
Spark在GrowingIO數(shù)據(jù)無埋點(diǎn)全量采集場景下的實(shí)踐本文根據(jù)2016年7月北京IBM Spark沙龍上的分享講稿整理而成。 大家好，我是來自GrowingIO的數(shù)據(jù)工程師付旗，今天跟大家分享的是我們GrowingIO在使用Sp...
-
在碼云上新建git庫并提交idea的項(xiàng)目代碼
1.登錄碼云：https://git.oschina.net/ 并新建git庫，并復(fù)制git庫地址，如：https://git.oschina.net/xmwj/sparkA...
-
spark的Driver獲得資源的過程（standalone模式）
1. 在SparkContext實(shí)例化的時(shí)候調(diào)用createTaskScheduler來創(chuàng)建TaskSchedulerImpl和SparkDeploySchedulerBac...
-
spark比hadoop快的原因
Spark SQL比Hadoop Hive快，是有一定條件的，而且不是Spark SQL的引擎比Hive的引擎快，相反，Hive的HQL引擎還比Spark SQL的引擎更快。...
