IP屬地：北京
-
Pyspark Join操作Spark Join 操作 [TOC] 官方文檔：https://spark.apache.org/docs/2.4.7/api/python/...
-
啟用Kerberos認(rèn)證服務(wù)
開(kāi)啟Kerberos服務(wù)需要臺(tái)KDC服務(wù)器。
-
spark創(chuàng)建DataFrame
通過(guò)列表創(chuàng)建 通過(guò)列表創(chuàng)建dataframe，列表里面可以是列表也可以是元組。 從json文件創(chuàng)建 json文件people.json: spa...
-
spark遠(yuǎn)程讀寫(xiě)hive數(shù)據(jù)庫(kù)實(shí)現(xiàn)spark遠(yuǎn)程連接hive數(shù)據(jù)庫(kù)，需要將服務(wù)端mysql數(shù)據(jù)庫(kù)里的hive數(shù)據(jù)表DBS和SDS里的localhost改為可以訪問(wèn)到的IP地址...
-
hive修改localhost
修改DBS表: 修改SDS表:
-
spark連接Hive作者是通過(guò)metastore方式實(shí)現(xiàn)spark連接hive數(shù)據(jù)庫(kù)，所以首先啟動(dòng)metastore: 另外需要將core-site.xml、hdf...
-
單機(jī)安裝Hadoop、spark環(huán)境
作者環(huán)境： CPU: E5-2678 v3、32G DDR4 Centos7 2003 java 1.8 hadoop 2.10.1 hive ...
-
Hive SQL語(yǔ)句使用記錄
清空表 Hive導(dǎo)入csv 作者在導(dǎo)入csv文件后發(fā)現(xiàn)數(shù)據(jù)全是NULL，經(jīng)過(guò)一番搜索發(fā)現(xiàn)是分隔符不一致。csv文件的分隔符是','號(hào)，hive在...