做一個(gè)善良的人，愛自己，愛他人。前提一定要學(xué)會如何愛自己，只有會愛自己，把自己照顧好了，才有資格、有余力愛他人。如果自己都沒有把自己照顧好，愛護(hù)好，自己不管是心理、生理不是很...
IP屬地：甘肅
-
數(shù)據(jù)倉庫ODS、DW和DM概念區(qū)分今天看了一些專業(yè)的解釋，還是對ODS、DW和DM認(rèn)識不深刻，下班后花時(shí)間分別查了查它們的概念。 ODS——操作性數(shù)據(jù) DW——數(shù)據(jù)倉庫 DM——數(shù)據(jù)集市 1.數(shù)據(jù)中心整體架構(gòu)...
-
動態(tài)詞向量算法 — ELMo傳統(tǒng)的詞向量模型，例如 Word2Vec 和 Glove 學(xué)習(xí)得到的詞向量是固定不變的，即一個(gè)單詞只有一種詞向量，顯然不適合用于多義詞。而 ELMo 算法使用了深度雙向語言模...
-
看不懂
使用Gson的一些感悟——解析復(fù)雜json
使用Gson的一些感悟——解析復(fù)雜json 將json解析為泛型對象時(shí)，發(fā)現(xiàn)Gson有種很特別的寫法，因此學(xué)習(xí)了下。 需要將如下json解析為對象 閱讀Gson的官方指引，有...
-
PySpark筆記(一)：Spark簡介與安裝Apache Spark 是專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎。Spark是UC Berkeley AMP lab (加州大學(xué)伯克利分校的AMP實(shí)驗(yàn)室)所開源的類H...
-
您好，您有用pyspark操作hive嗎，我現(xiàn)在使用pyspark操作hive，感覺很惡心，比如，Row這種數(shù)據(jù)結(jié)構(gòu)，在pyspark中不知道怎么操作。
2.pyspark.sql.DataFrame
Spark SQL和DataFrames重要的類有： pyspark.sql.SQLContext： DataFrame和SQL方法的主入口 pyspark.sql.Data...
-
2.pyspark.sql.DataFrame
Spark SQL和DataFrames重要的類有： pyspark.sql.SQLContext： DataFrame和SQL方法的主入口 pyspark.sql.Data...
-
5.pyspark.sql.Row
Spark SQL和DataFrames重要的類有： pyspark.sql.SQLContext： DataFrame和SQL方法的主入口 pyspark.sql.Data...
-
一張圖道盡程序員出路
一張圖道盡程序員出路 程序員職業(yè)路線圖 上圖中框起來的，是程序員的主旋律。程序員，專業(yè)人士也，與瓦工、木匠、發(fā)型師、保潔員等類似，不過是社會萬千分工之一種，沒什么高大上，也沒...
-
-
-
hadoop（十九）—Sqoop數(shù)據(jù)清洗
上節(jié)課學(xué)習(xí)了Hadoop集群測試，這節(jié)課我們一起學(xué)習(xí)一下Sqoop，Sqoop是專門用來遷移數(shù)據(jù)的，它可以把數(shù)據(jù)庫中的數(shù)據(jù)遷移到HDFS文件系統(tǒng)，當(dāng)然也可以從HDFS文件系統(tǒng)...
-
Sqoop最佳實(shí)踐
一、什么是Sqoop Sqoop是一個(gè)在結(jié)構(gòu)化數(shù)據(jù)和Hadoop之間進(jìn)行批量數(shù)據(jù)遷移的工具，結(jié)構(gòu)化數(shù)據(jù)可以是Mysql、Oracle等RDBMS。Sqoop底層用MapRed...
