發(fā)簡信
IP屬地：云南
-
《超越感覺》讀后感
超越感覺，是一本經(jīng)典著作。從1975年出版，長達(dá)幾十年的時(shí)間一直再版，截止到2017年末已經(jīng)到了第九版第2次出版。 這本書的副標(biāo)...
-
spark之shuffle原理及性能優(yōu)化1.spark的shuffleManager是負(fù)責(zé)shuffle過程的執(zhí)行、計(jì)算和處理的組件。shuffleManager是trait，主要實(shí)現(xiàn)...
-
在碼云上新建git庫并提交idea的項(xiàng)目代碼
1.登錄碼云：https://git.oschina.net/ 并新建git庫，并復(fù)制git庫地址，如：https://git.oschina....
-
spark的Driver獲得資源的過程（standalone模式）
1. 在SparkContext實(shí)例化的時(shí)候調(diào)用createTaskScheduler來創(chuàng)建TaskSchedulerImpl和SparkDep...
-
spark概念理解
1. Application：Spark 的應(yīng)用程序，用戶提交后，Spark為App分配資源，將程序轉(zhuǎn)換并執(zhí)行，其中Application包含一...
-
spark比hadoop快的原因
Spark SQL比Hadoop Hive快，是有一定條件的，而且不是Spark SQL的引擎比Hive的引擎快，相反，Hive的HQL引擎還比...