Hadoop離線數(shù)據(jù)分析平臺實(shí)戰(zhàn)——420訂單分析

項(xiàng)目進(jìn)度

模塊介紹

訂單分析分別分析訂單的數(shù)量和訂單的金額，
以及將訂單分為總訂單、
支付成功訂單以及退款訂單三種類型的數(shù)據(jù)，
通過這六個(gè)分析指標(biāo)的數(shù)據(jù)我們可以指定網(wǎng)站的訂單情況。

計(jì)算規(guī)則

和統(tǒng)計(jì)stats_event&stats_view_depth表的數(shù)據(jù)不太一樣，
我們采用每個(gè)統(tǒng)計(jì)指標(biāo)寫一個(gè)hql語句+sqoop語句的方法進(jìn)行數(shù)據(jù)的插入操作。
也就是說分別統(tǒng)計(jì)訂單數(shù)量和訂單金額，而不是使用一張hive表同時(shí)保存多個(gè)指標(biāo)的數(shù)據(jù)，
而是采用多個(gè)表分別保存不同指標(biāo)的數(shù)據(jù)或者采用一張表非同時(shí)的保存多個(gè)指標(biāo)的數(shù)據(jù)。
分別統(tǒng)計(jì)oid的去重?cái)?shù)量作為訂單數(shù)量，使用去重后的訂單的支付金額作為訂單金額。
最終數(shù)據(jù)保存：stats_order。涉及到所有列。
涉及到其他表有dimension_platform、dimension_date、dimension_currency_type、dimension_payment_type.

代碼步驟

1. hive中創(chuàng)建hbase對應(yīng)的外部表
2. 訂單數(shù)量&訂單金額的hive&sqoop分析
   a. 實(shí)現(xiàn)自定義udf&自定義函數(shù)創(chuàng)建
   b. hive+sqoop腳本
3. 成功支付訂單數(shù)量&金額&總金額的hive&sqoop分析
   a. 訂單數(shù)據(jù)保存mysql
   b. 實(shí)現(xiàn)自定義udf&自定義函數(shù)創(chuàng)建
   c. hive+sqoop腳本
4. 退款訂單數(shù)量&金額&總金額的hive&sqoop分析
5. shell腳本編寫以及測試（作業(yè)）