發(fā)簡信
IP屬地：臺灣
-
Phoenix從4.7升級到4.14之前有過一篇文章講述CDH5.16.1如何整合phoenix，但是，但是，但是，這個版本整合的是phoenix4.7，這個版本無法使用分頁查詢，...
-
采坑：java調shell腳本執(zhí)行hive語句最近有個需求，就是SpringBoot提供一個web接口給業(yè)務方，業(yè)務方傳入參數調接口，接口去執(zhí)行hive離線計算，一般可能是說直接用jdbc去...
-
記一次hive調優(yōu)之旅我遇到的業(yè)務場景是統計10個維度的用戶畫像數據，之前我是放在一個shell腳本里串行跑，總共跑下來差不多要9個多小時：從數據預處理、維度統計、數...
-
MapReduce將HDFS數據清洗到多個Hbase表中最近一直在對歷史數據進行清洗，原始數據是純數據格式，現在要清洗到hbase中，方便后期跟hive進行整合查詢。。可能現在基本上都使用spark來...
-
hive將多行查詢成一個json字符串
今天在用hive做一個離線統計的任務，既然是統計，那就是某個ID可能在某個維度有多個值，比如某個部門男女人數分別是多少。 部門ID性別人數000...
-
Spark讀取HDFS數據輸出到不同的文件
最近有一個需求是這樣的：原來的數據是存儲在MySQL，然后通過Sqoop將MySQL的數據抽取到了HDFS集群上，抽取到HDFS上的數據都是純數...
-
大數據之CDH5.16.1集成PhoenixCDH中預裝的hbase是沒有Phoenix的，需要我們手動來集成，下面我們就簡單的記錄一下筆者集成的流程。 1下載parcels http:/...
-
iostat對磁盤IO情況實時監(jiān)控kafka集群搭建完成后，對集群進行壓測。這樣的話，就需要實時查看kafka集群機器的IO情況。那怎么辦呢？其實linux是有一個命令來做這個事...
-
大數據之CDH5.16.1集成Tez0.9.2俗話說：磨刀不誤砍柴工。。上兩篇中，我們介紹完了CDH環(huán)境的基本搭建。在這篇中，我們講述對hive的一個優(yōu)化措施之一：執(zhí)行引擎tez。在HDP中...