發(fā)簡信
IP屬地：北京
-
天池Python學(xué)習小組（1）
一 print() 函數(shù) print(*objects, sep=' ', end='\n', file=sys.stdout, flush=F...
-
spark 面試題（1）
1.spark中的RDD是什么，有哪些特性？ 答：RDD（Resilient Distributed Dataset）叫做分布式數(shù)據(jù)集，是spa...
-
spark 面試題（2）
33.選擇題 二、選擇題 1. Spark 的四大組件下面哪個不是 (D ) A.Spark Streaming B. Mlib C Grap...
-
如何關(guān)閉 sparkstreaming 任務(wù)
因為Spark Streaming流程序比較特殊，所以不能直接執(zhí)行kill -9 這種暴力方式停掉，如果使用這種方式停程序，那么就有可能丟失數(shù)據(jù)...
-
Spark使用parquet文件存儲格式能帶來哪些好處
1.Spark使用parquet文件存儲格式能帶來哪些好處？ 1) 如果說HDFS 是大數(shù)據(jù)時代分布式文件系統(tǒng)首選標準，那么parquet則是整...
-
Hive 處理數(shù)據(jù)傾斜在做Shuffle階段的優(yōu)化過程中，遇到了數(shù)據(jù)傾斜的問題，造成了對一些情況下優(yōu)化效果不明顯。主要是因為在Job完成后的所得到的 Counters...
-
Hive 如何使用mapjoin
MapJoin是Hive的一種優(yōu)化操作，其適用于小表JOIN大表的場景，由于表的JOIN操作是在Map端且在內(nèi)存進行的，所以其并不需要啟動Red...