@Bruce_King 下載在硬盤的資源都被pig隊友一鍵刪除了
大數(shù)據(jù)之Ambari2.7+HDP3.0（二）三、安裝Ambari+HDP 大家在安裝之前，一定要先確認(rèn)好安裝哪個版本的，如果不知道自己需要安裝哪個版本的，可以先到官網(wǎng)查看一下每個版本的差別：https://zh.hor...
發(fā)簡信
IP屬地：上海
-
-
@81e64fc97de4 可以的，試試，我現(xiàn)在就是這么搞的
采坑：java調(diào)shell腳本執(zhí)行hive語句
最近有個需求，就是SpringBoot提供一個web接口給業(yè)務(wù)方，業(yè)務(wù)方傳入?yún)?shù)調(diào)接口，接口去執(zhí)行hive離線計算，一般可能是說直接用jdbc去連hive執(zhí)行hive操作，但...
-
-
Phoenix從4.7升級到4.14之前有過一篇文章講述CDH5.16.1如何整合phoenix，但是，但是，但是，這個版本整合的是phoenix4.7，這個版本無法使用分頁查詢，所以必須升級為phoenix4...
-
采坑：java調(diào)shell腳本執(zhí)行hive語句最近有個需求，就是SpringBoot提供一個web接口給業(yè)務(wù)方，業(yè)務(wù)方傳入?yún)?shù)調(diào)接口，接口去執(zhí)行hive離線計算，一般可能是說直接用jdbc去連hive執(zhí)行hive操作，但...
-
記一次hive調(diào)優(yōu)之旅我遇到的業(yè)務(wù)場景是統(tǒng)計10個維度的用戶畫像數(shù)據(jù)，之前我是放在一個shell腳本里串行跑，總共跑下來差不多要9個多小時：從數(shù)據(jù)預(yù)處理、維度統(tǒng)計、數(shù)據(jù)上傳三大部分。 9個多小時，...
-
@暮春丶秋色 集成成功了嗎？？我們公司換到CDH了
大數(shù)據(jù)之Ambari2.7+HDP3.0（二）
三、安裝Ambari+HDP 大家在安裝之前，一定要先確認(rèn)好安裝哪個版本的，如果不知道自己需要安裝哪個版本的，可以先到官網(wǎng)查看一下每個版本的差別：https://zh.hor...
-
MapReduce將HDFS數(shù)據(jù)清洗到多個Hbase表中最近一直在對歷史數(shù)據(jù)進(jìn)行清洗，原始數(shù)據(jù)是純數(shù)據(jù)格式，現(xiàn)在要清洗到hbase中，方便后期跟hive進(jìn)行整合查詢。?？赡墁F(xiàn)在基本上都使用spark來做清洗了，但是如果受機(jī)器本身硬...
-
hive將多行查詢成一個json字符串
今天在用hive做一個離線統(tǒng)計的任務(wù)，既然是統(tǒng)計，那就是某個ID可能在某個維度有多個值，比如某個部門男女人數(shù)分別是多少。 部門ID性別人數(shù)000101200000116000...
-
Spark讀取HDFS數(shù)據(jù)輸出到不同的文件
最近有一個需求是這樣的：原來的數(shù)據(jù)是存儲在MySQL，然后通過Sqoop將MySQL的數(shù)據(jù)抽取到了HDFS集群上，抽取到HDFS上的數(shù)據(jù)都是純數(shù)據(jù)，字段值之間以\t分隔，現(xiàn)在...
-
大數(shù)據(jù)之CDH5.16.1集成PhoenixCDH中預(yù)裝的hbase是沒有Phoenix的，需要我們手動來集成，下面我們就簡單的記錄一下筆者集成的流程。 1下載parcels http://archive.cloude...
-
iostat對磁盤IO情況實時監(jiān)控kafka集群搭建完成后，對集群進(jìn)行壓測。這樣的話，就需要實時查看kafka集群機(jī)器的IO情況。那怎么辦呢？其實linux是有一個命令來做這個事兒的。這個命令就是iostat...
-
大數(shù)據(jù)之CDH5.16.1集成Tez0.9.2俗話說：磨刀不誤砍柴工。。上兩篇中，我們介紹完了CDH環(huán)境的基本搭建。在這篇中，我們講述對hive的一個優(yōu)化措施之一：執(zhí)行引擎tez。在HDP中hive的執(zhí)行引擎默認(rèn)是tez...
-
大數(shù)據(jù)之CM+CDH5.16.1（二）接著上一篇繼續(xù)安裝CDH環(huán)境 三、安裝CM和CDH 3.1 CDH下載 以CentOS7.5和CDH5.16.1舉例 3.1.1 cm的tar包下載 下載地址：http://...
-
大數(shù)據(jù)之CM+CDH5.16.1（一）鑒于在Ambari2.7+HDP3.0使用過程中有很多不方便之處，所以還是決定選擇CDH框架來做。我是準(zhǔn)備了4臺虛擬機(jī)來搭這個環(huán)境。 一、集群規(guī)劃 1.2 機(jī)器準(zhǔn)備 host...
-
大數(shù)據(jù)之Ambari2.7+HDP3.0（二）三、安裝Ambari+HDP 大家在安裝之前，一定要先確認(rèn)好安裝哪個版本的，如果不知道自己需要安裝哪個版本的，可以先到官網(wǎng)查看一下每個版本的差別：https://zh.hor...
-
大數(shù)據(jù)之Ambari2.7+HDP3.0（一）公司目前在開展大數(shù)據(jù)業(yè)務(wù)，在大數(shù)據(jù)框架選型方面一直在Ambari+HDP 和CM+CDH之中徘徊。我就嘗試動手搭建了兩套環(huán)境來試試效果。接下來我會記錄搭建HDP和CDH環(huán)境的...
