發(fā)簡(jiǎn)信
IP屬地：北京
-
2019-09-20CPU架構(gòu)分類 從CPU發(fā)明到現(xiàn)在，有非常多種架構(gòu)，從我們熟悉的X86，ARM，到不太熟悉的MIPS，IA64等 X86架構(gòu)來(lái)由 IBM 開(kāi)始做...
-
HBase的部署
HBase的部署方式包括： HBase的安裝 本文的HBase安裝是在Hadoop已經(jīng)安裝好的基礎(chǔ)上實(shí)現(xiàn)的，所以之前要導(dǎo)出JAVA_HOME、H...
-
kafka基礎(chǔ)概述
概述 官方地址http://kafka.apache.org/快速入門教程：http://kafka.apache.org/quickstart...
-
Hive基本使用
Hive有三種復(fù)雜數(shù)據(jù)類型ARRAY、MAP 和 STRUCT。ARRAY和MAP與Java中的Array和Map類似，而STRUCT與C語(yǔ)言中...
-
DataFrame常用API操作
以列的（列名，列的類型。列值）的形式構(gòu)成的分布式數(shù)據(jù)集，按照列賦予不同名稱，約等于關(guān)系數(shù)據(jù)庫(kù)的數(shù)據(jù)表 A DataFrame is a Data...
-
Hadoop序列化
序列化 把內(nèi)存中對(duì)象轉(zhuǎn)換成字節(jié)序列（或其他數(shù)據(jù)傳輸協(xié)議）以便于存儲(chǔ)到磁盤（持久化）和網(wǎng)絡(luò)傳輸 反序列化 接收到的字節(jié)序列或者其他傳輸協(xié)議或者是磁...
-
Spark MLlib
概述 機(jī)器學(xué)習(xí)是用數(shù)據(jù)或以往的經(jīng)驗(yàn)，并以此來(lái)優(yōu)化程序的性能指標(biāo)。機(jī)器學(xué)習(xí)本質(zhì)思想：使用現(xiàn)有的數(shù)據(jù)，訓(xùn)練出一個(gè)模型，然后在用這個(gè)模型去擬合其他的數(shù)...
-
Hadoop偽分布式配置環(huán)境變量配置 環(huán)境變量生效 HDFS 測(cè)試Hadoop自帶的wordcount 修改hadoop-env.sh配置文件。echo $JAVA_H...
-
RDD和DataFrame轉(zhuǎn)換
利用反射機(jī)制推斷RDD 在利用反射機(jī)制推斷RDD模式時(shí)，需要首先定義一個(gè)case class，因?yàn)?，只有case class才能被Spark隱式...