Hadoop離線數(shù)據(jù)分析平臺實戰(zhàn)——350公用代碼重構(gòu)
項目進度
| 模塊名稱 | 完成情況 |
|---|---|
| 用戶基本信息分析(MR)? | 完成 |
| 瀏覽器信息分析(MR) | 完成 |
| 地域信息分析(MR) | 未完成 |
| 外鏈信息分析(MR) | 未完成 |
| 用戶瀏覽深度分析(Hive) | 未完成 |
| 訂單分析(Hive) | 未完成 |
| 事件分析(Hive) | 未完成 |
MR程序公用代碼重構(gòu)
公用代碼主要包括：
- Runner類中的參數(shù)處理代碼，以及hbase的scan對象創(chuàng)建相關(guān)代碼公用。
- Mapper類中獲取hbase的value中的數(shù)據(jù)代碼公用。
- 其他輔助作用的代碼添加
mapper公用代碼
- 編寫TransformerBaseMapper類，在其中填寫這個公用代碼
- 更改MR程序中mapper類繼承父類為TransformerBaseMapper, 然后進行代碼修改。
Runner公用代碼
- 編寫TransformerBaseRunner類，在其中填寫這個公用代碼
- 更改MR程序中runner類繼承父類為TransformerBaseRunner, 然后進行代碼修改。
作業(yè)
- 自行將剩下的幾個mapreduce代碼進行更改，也就是講mapper類更改為繼承TransformerBaseMapper類，將runner類更改為繼承TransformerBaseReducer類。
- 在TransformerBaseRunner類中，添加提取所有hbase列值的方法。
(我會在下一講中提交的代碼中將這些進行全部的修改)。
