Hadoop離線數(shù)據(jù)分析平臺實(shí)戰(zhàn)——390DimensionConverter相關(guān)服務(wù)設(shè)計(jì)
DimensionConverter類作用&問題
DimensionConverter主要是對維度信息進(jìn)行操作，
包括維度id的獲取、維度信息的保存等操作，通過該接口提供的服務(wù)，
我們可以很方便的將操作維度表的方法進(jìn)行模塊化設(shè)計(jì)。
問題：當(dāng)設(shè)計(jì)成為多個(gè)reducer的時(shí)候，每個(gè)reducer的輸出是在不同的jvm中的，
所以就會有不同的實(shí)例對象進(jìn)行操作維度表，
可能會導(dǎo)致數(shù)據(jù)庫數(shù)據(jù)異常，針對這種情況，
故我們需要將DimensionConverter相關(guān)服務(wù)進(jìn)行模塊化設(shè)計(jì)。
解決方案
由于我們采用的是hadoop集群，故我們可以直接采用master-slave結(jié)構(gòu)，
我們自定創(chuàng)建一個(gè)hadoop的rpc服務(wù)，
然后在各個(gè)需要進(jìn)行該操作的reducer端創(chuàng)建該服務(wù)的遠(yuǎn)程代理對象，
通過這種方式將操作維度表的操作放到一個(gè)對象中去。
代碼步驟
- master提供服務(wù)
- slave通過代理對象獲取值
- 測試
