10篇文章 · 5190字 · 1人關注
-
MapReduce 基礎 （十）分組
假設有一組數據，我們要統計訂單號金額最大的一筆給區(qū)分出來應該怎么做？ 這里是一個綜合案例，我們既要將數據轉換，也要將數據給分組。首先我們需要將數...
-
MapReduce 基礎 （九）自定義OutputFormat
有時候我們需要將輸出的文件分別對應的輸出到不同的文件夾中，通常TextOutputFormat類不能給我們實現這個功能，所以我們需要用自定義的O...
-
MapReduce 基礎 （八）自定義InputFormat
無論HDFS還是MapReduce，在處理小文件時效率都非常低，但又難免面臨處理大量小文件的場景，此時，就需要有相應解決方案?？梢宰远xInpu...
-
MapReduce 基礎 （七）MapReduce加載分布式緩存文件列表
自定義一個mapper類需要實現如下步驟 主類中 相當于不需要reducer，直接在mapper中合并k2 v2即可。
-
MapReduce 基礎 （六）MapReduce的運行機制
1. MapTask 工作機制 整個Map階段流程大體如上圖所示。 簡單概述：inputFile通過split被邏輯切分為多個split文件，通...
-
MapReduce 基礎 （五）規(guī)約
每一個 map 都可能會產生大量的本地輸出，Combiner 的作用就是對 map 端的輸出先做一次 合并，以減少在 map 和 reduce ...
-
MapReduce 基礎 （四）排序和序列化
序列化 (Serialization) 是指把結構化對象轉化為字節(jié)流 反序列化 (Deserialization) 是序列化的逆過程. 把字節(jié)流...
-
MapReduce 基礎 （三）分區(qū)
概念 在 MapReduce 中, 通過我們指定分區(qū), 會將同一個分區(qū)的數據發(fā)送到同一個 Reduce 當中進行 處理 例如: 為了數據的統計,...
-
MapReduce 基礎 （二）編程規(guī)范
MapReduce開發(fā)階段 MapReduce 的開發(fā)一共有八個步驟, 其中 Map 階段分為 2 個步驟，Shuwle 階段 4 個步 驟，R...
