發(fā)簡(jiǎn)信
IP屬地：廣東
-
MapReduce框架原理最全的MapReduce框架原理，方便以后復(fù)習(xí)。知識(shí)點(diǎn)來自尚硅谷的課程學(xué)習(xí)。課程鏈接 一、InputFormat數(shù)據(jù)輸入 1. 切片與MapTa...
-
MapReduce序列化
序列化就是把內(nèi)存中的對(duì)象轉(zhuǎn)換成字節(jié)序列以便于存儲(chǔ)到磁盤（持久化）和網(wǎng)絡(luò)傳輸。反序列化就是將字節(jié)序列或者是持久化的數(shù)據(jù)轉(zhuǎn)換成內(nèi)存中的對(duì)象。 內(nèi)存中...
-
2020-05-21 生活感悟
在今年初的時(shí)候，我給自己訂了一個(gè)目標(biāo)，建立自己的行為準(zhǔn)則，今天偶然看到了一個(gè)故事，有一點(diǎn)反思，希望記錄下來，在日后的生活中運(yùn)用實(shí)踐。故事大概是這...
-
MapReduce —— WordCount案例
WordCount：統(tǒng)計(jì)一個(gè)或多個(gè)文件內(nèi)每個(gè)單詞的出現(xiàn)次數(shù)。 一般情況下，一個(gè)MapReduce程序主要包含三個(gè)部分：Map、Reduce和Dr...
-
MapReduceMapReduce是一個(gè)分布式運(yùn)算程序的編程框架，是用戶開發(fā)“基于Hadoop的數(shù)據(jù)分析應(yīng)用”的核心框架。主要用于分析數(shù)據(jù)。 優(yōu)缺點(diǎn) 優(yōu)點(diǎn)易于編...
-
使用IO流操作HDFS
除了可以使用系統(tǒng)API進(jìn)行HDFS操作，還可以通過Java的IO流進(jìn)行文件的上傳和下載。適用于HDFS的自定義操作，其實(shí)API的底層也是使用IO...
-
HDFS 配置本地客戶端之前，一直通過Linux命令操作HDFS。接下來，在本地配置HDFS客戶端，通過編寫代碼操作HDFS。 環(huán)境： mbp2018 hadoop-2...
-
HDFSHDFS（Hadoop Distributed File System），是一個(gè)文件系統(tǒng)，用于存儲(chǔ)文件，通過目錄樹來定位文件，其實(shí)，它是分布式的...
-
集群時(shí)間同步步驟 1. 檢查ntp（網(wǎng)絡(luò)時(shí)間協(xié)議）是否安裝。 ps -e | grep ntp如果出現(xiàn)一下內(nèi)容表明一斤安裝： 如果什么都沒有，可以使用 進(jìn)行...