通過列表創(chuàng)建 通過列表創(chuàng)建dataframe，列表里面可以是列表也可以是元組。 從json文件創(chuàng)建 json文件people.json: spark代碼: 從字典創(chuàng)建 目前還...
IP屬地：北京
-
spark創(chuàng)建DataFrame
-
spark遠程讀寫hive數(shù)據(jù)庫實現(xiàn)spark遠程連接hive數(shù)據(jù)庫，需要將服務(wù)端mysql數(shù)據(jù)庫里的hive數(shù)據(jù)表DBS和SDS里的localhost改為可以訪問到的IP地址或域名。 更改方式參考：hiv...
-
spark連接Hive作者是通過metastore方式實現(xiàn)spark連接hive數(shù)據(jù)庫，所以首先啟動metastore: 另外需要將core-site.xml、hdfs-site.xml、hive...
-
單機安裝Hadoop、spark環(huán)境
作者環(huán)境： CPU: E5-2678 v3、32G DDR4 Centos7 2003 java 1.8 hadoop 2.10.1 hive 2.3.7 scala 2.1...
-
Hive SQL語句使用記錄
清空表 Hive導(dǎo)入csv 作者在導(dǎo)入csv文件后發(fā)現(xiàn)數(shù)據(jù)全是NULL，經(jīng)過一番搜索發(fā)現(xiàn)是分隔符不一致。csv文件的分隔符是','號，hive在創(chuàng)建的時候并未設(shè)置分隔符，從而...
-
制作linux系統(tǒng)盤提到大數(shù)據(jù)開發(fā)環(huán)境，首先想到的是得有一個系統(tǒng)，本人之前熱衷于ubuntu。但隨著工作的深入，發(fā)現(xiàn)使用CentOS的多些，據(jù)說系統(tǒng)會比較穩(wěn)定，至于穩(wěn)定的原因是運維人員多[Dog...
-
spark創(chuàng)建SparkSession
SparkSession介紹 SparkSession 是 spark2.0 引入的概念，可以代替 SparkContext，SparkSession 內(nèi)部封裝了 SQLCo...
-
pyspark保存為csv
為了方便調(diào)試，需要輸出數(shù)據(jù)到csv，但是確遇到excel打開亂碼問題，今天就解決這個問題。 保存CSV repartition(1)是將所有分區(qū)文件合并成一個，不加這個選項會...