注：本文涉及書中5.1~5.7小結(jié) MapReduce編程流程 step1. 首先寫map函數(shù)和reduce函數(shù)，并使用單元測試來確保函數(shù)的運行符合預(yù)期。 step2. 寫一...
發(fā)簡信
IP屬地：北京
-
Hadoop權(quán)威指南-ch5 MapReduce應(yīng)用開發(fā)
-
零基礎(chǔ)入門Java后臺SSM框架大家好，我是帥氣小伙，好久沒更新了，因為實在沒用新的知識和大家分享了，最近剛剛走向?qū)嵙?xí)崗位，開始接觸Java后臺這個領(lǐng)域，經(jīng)過這3天的學(xué)習(xí)，基本上對Spring+Spring...
-
Hadoop權(quán)威指南-ch4 Hadoop的I/O(4)文件的數(shù)據(jù)結(jié)構(gòu)注：本文涉及書中4.5小結(jié) 基于文件的數(shù)據(jù)結(jié)構(gòu) 有兩種文件格式： 1. SequenceFile 2. MapFile · SequenceFile SequenceFile...
-
Hadoop權(quán)威指南-ch4 Hadoop的I/O(3) Avro
注：本文涉及書中4.4小結(jié) 數(shù)據(jù)序列化系統(tǒng)Avro Apache Avro是一個獨立于編程語言的數(shù)據(jù)序列化系統(tǒng)，旨在解決Hadoop中Writable類型缺乏語言的可移植性問...
-
Hadoop權(quán)威指南-ch4 Hadoop的I/O(3) 序列化
注：本文涉及書中4.3小結(jié) 序列化與反序列化 1. 定義 序列化（serialization）：將結(jié)構(gòu)化對象轉(zhuǎn)化為字節(jié)流。 反序列化（deserialization）：將字節(jié)...
-
Hadoop權(quán)威指南-ch4 Hadoop的I/O(2)
注：本文涉及書中4.2小結(jié) 文件壓縮 好處：減少存儲文件的磁盤空間，加速網(wǎng)絡(luò)和磁盤的數(shù)據(jù)傳輸。 所有的壓縮方法都要權(quán)衡空間/時間，也就是說，壓縮和解壓的速度越快，節(jié)約的空間越...
-
Hadoop權(quán)威指南-ch4 Hadoop的I/O(1)
注：本文涉及書中4.1小結(jié) 數(shù)據(jù)完整性 1. HDFS的完整性檢測 檢測數(shù)據(jù)損壞的方法：計算校驗和。 以下情況HDFS會檢測數(shù)據(jù)的完整性： （1）HDFS會對寫入的所有數(shù)據(jù)計...
-
Hadoop權(quán)威指南第三版-中文-ch3 (6)Hadoop存檔
注：本文涉及書中3.9小結(jié) Hadoop存檔 1. 綜述 Hadoop存檔文件或HAR文件，是一個高效的文件存檔工具，它將文件存入HDFS塊，在減少namenode內(nèi)存使用的...
-
Hadoop權(quán)威指南-ch3 HDFS（5）
注：本文涉及書中3.7~3.8小結(jié) 使用現(xiàn)成的工具將數(shù)據(jù)導(dǎo)入HDFS中 可以使用現(xiàn)成的工具，如Flume和Sqoop，而非寫程序來將數(shù)據(jù)導(dǎo)入HDFS中。 1. Apache ...
-
Hadoop權(quán)威指南-ch3 HDFS（4）注：本文涉及書中3.6小結(jié) 數(shù)據(jù)流 1. 文件讀取 結(jié)合上圖，客戶端通過調(diào)用FileSystem對象的open()方法來打開希望讀取的文件 step1. Distribute...
-
Hadoop權(quán)威指南-ch3（2） Hadoop文件系統(tǒng)注：本文涉及書中3.4~小結(jié) Hadoop的文件系統(tǒng) Hadoop有很多文件系統(tǒng)，HDFS只是其中的一個。Java抽象類org.apache.hadoop.fs.FileSy...
-
Hadoop權(quán)威指南-ch3 HDFS（2）注：本文涉及書中3.3小結(jié) 命令行接口 書中3.3小節(jié)給出了命令行交互HDFS的過程：首先介紹了偽分布式下運行HDFS，然后介紹了集群中運行HDFS。 1. 偽分布式環(huán)境 兩...
-
Hadoop權(quán)威指南-ch3 HDFS（1）
注：本文涉及書中3.1~3.2小結(jié) 1. HDFS的特點 1. HDFS以流式數(shù)據(jù)訪問模式來存儲超大文件，運行于商用硬件集群上。 何為“流式數(shù)據(jù)訪問”？？？ 答：HDFS的構(gòu)...
-
Hadoop權(quán)威指南-ch2 MapReduce（2）注：本文涉及書中2.4~2.6小結(jié) 橫向擴(kuò)展（scaling out） 橫向擴(kuò)展，即將數(shù)據(jù)存儲在分布式文件系統(tǒng)中，一般為HDFS，由此允許Hadoop將MapReduce計算...
-
Hadoop權(quán)威指南-ch2 MapReduce（1）
注：本文涉及書中2.1~2.3小結(jié) 1. MapReduce任務(wù)過程：map和reduce MapReduce任務(wù)過程分為兩個處理階段：map階段和reduce階段。每個階段...
-
Hadoop部署方式
· 前言 沒有任何大數(shù)據(jù)的基礎(chǔ)，想在自己的筆記本上嘗試搭建一下Hadoop · 言歸正傳 Hadoop的部署方式有三種，分別是： （1）本地模式 a. 默認(rèn)情況下，Hadoo...
-
Hadoop權(quán)威指南-ch1概要0. 寫在最前 某乎的高票答案，《Hadoop權(quán)威指南》是Hadoop入門的必備書籍，目前該書的最新版為第四版，但只有英文版，還沒有中譯版，為了加快閱讀速度，我選擇了第三版的...
-
第一章 進(jìn)入Java的世界
Java的編譯和運行過程 step1. 編寫源文件（.java） step2. 編譯器編譯.java，產(chǎn)生類文件（.class文件） step3. 啟動Java虛擬機(jī)（JVM...