一 print() 函數(shù) print(*objects, sep=' ', end='\n', file=sys.stdout, flush=False) 將對(duì)象以字符串表示...
發(fā)簡(jiǎn)信
IP屬地：北京
-
天池Python學(xué)習(xí)小組（1）
-
-
-
spark 面試題（1）
1.spark中的RDD是什么，有哪些特性？ 答：RDD（Resilient Distributed Dataset）叫做分布式數(shù)據(jù)集，是spark中最基本的數(shù)據(jù)抽象，它代表...
-
spark 面試題（2）
33.選擇題 二、選擇題 1. Spark 的四大組件下面哪個(gè)不是 (D ) A.Spark Streaming B. Mlib C Graphx D.Spark R 2...
-
如何關(guān)閉 sparkstreaming 任務(wù)
因?yàn)镾park Streaming流程序比較特殊，所以不能直接執(zhí)行kill -9 這種暴力方式停掉，如果使用這種方式停程序，那么就有可能丟失數(shù)據(jù)或者重復(fù)消費(fèi)數(shù)據(jù)。 為什么呢？...
-
Spark使用parquet文件存儲(chǔ)格式能帶來(lái)哪些好處
1.Spark使用parquet文件存儲(chǔ)格式能帶來(lái)哪些好處？ 1) 如果說(shuō)HDFS 是大數(shù)據(jù)時(shí)代分布式文件系統(tǒng)首選標(biāo)準(zhǔn)，那么parquet則是整個(gè)大數(shù)據(jù)時(shí)代文件存儲(chǔ)格式實(shí)時(shí)首...
-
Hive 處理數(shù)據(jù)傾斜在做Shuffle階段的優(yōu)化過(guò)程中，遇到了數(shù)據(jù)傾斜的問(wèn)題，造成了對(duì)一些情況下優(yōu)化效果不明顯。主要是因?yàn)樵贘ob完成后的所得到的 Counters是整個(gè)Job的總和，優(yōu)化是基于...
-
Hive 如何使用mapjoin
MapJoin是Hive的一種優(yōu)化操作，其適用于小表JOIN大表的場(chǎng)景，由于表的JOIN操作是在Map端且在內(nèi)存進(jìn)行的，所以其并不需要啟動(dòng)Reduce任務(wù)也就不需要經(jīng)過(guò)shu...
-
Hi，很高興在@IT·互聯(lián)網(wǎng)專(zhuān)題遇見(jiàn)你。 收錄范圍：收錄IT&互聯(lián)網(wǎng)行業(yè)觀察與思考，數(shù)碼產(chǎn)品極客體驗(yàn)分析等類(lèi)型文章 投稿須知：http://www.itdecent.cn/p/4edc76104c27 專(zhuān)題主編：@若錦 http://www.itdecent.cn/u/e4c63b354a77 官方社群：可聯(lián)系添加 @若錦 加入專(zhuān)題官方社群交流、學(xué)習(xí)，添加時(shí)備注簡(jiǎn)書(shū)ID。
