發(fā)簡(jiǎn)信
IP屬地：北京
-
天池Python學(xué)習(xí)小組（1）
一 print() 函數(shù) print(*objects, sep=' ', end='\n', file=sys.stdout, flush=F...
-
spark 面試題（1）
1.spark中的RDD是什么，有哪些特性？ 答：RDD（Resilient Distributed Dataset）叫做分布式數(shù)據(jù)集，是spa...
-
spark 面試題（2）
33.選擇題 二、選擇題 1. Spark 的四大組件下面哪個(gè)不是 (D ) A.Spark Streaming B. Mlib C Grap...
-
如何關(guān)閉 sparkstreaming 任務(wù)
因?yàn)镾park Streaming流程序比較特殊，所以不能直接執(zhí)行kill -9 這種暴力方式停掉，如果使用這種方式停程序，那么就有可能丟失數(shù)據(jù)...
-
Spark使用parquet文件存儲(chǔ)格式能帶來(lái)哪些好處
1.Spark使用parquet文件存儲(chǔ)格式能帶來(lái)哪些好處？ 1) 如果說(shuō)HDFS 是大數(shù)據(jù)時(shí)代分布式文件系統(tǒng)首選標(biāo)準(zhǔn)，那么parquet則是整...
-
Hive 處理數(shù)據(jù)傾斜在做Shuffle階段的優(yōu)化過(guò)程中，遇到了數(shù)據(jù)傾斜的問(wèn)題，造成了對(duì)一些情況下優(yōu)化效果不明顯。主要是因?yàn)樵贘ob完成后的所得到的 Counters...
-
Hive 如何使用mapjoin
MapJoin是Hive的一種優(yōu)化操作，其適用于小表JOIN大表的場(chǎng)景，由于表的JOIN操作是在Map端且在內(nèi)存進(jìn)行的，所以其并不需要啟動(dòng)Red...