# 安裝依賴 [root@hadoop ~]# yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-d...
發(fā)簡信
IP屬地：浙江
-
Linux部署Nginx
-
Sqoop往hive中導(dǎo)入導(dǎo)出數(shù)據(jù)的常用命令一、導(dǎo)入hive的相關(guān)參數(shù) 二、導(dǎo)入數(shù)據(jù)常用命令 sqoop import \ --connect 'jdbc:mysql://192.168.228.128:3306/ru...
-
Sqoop常用導(dǎo)出命令組合一、創(chuàng)建測(cè)試表 create table sqoop_test_from_hdfs( name varchar(20) comment '姓名', age int comme...
-
Sqoop常用導(dǎo)入命令組合一、準(zhǔn)備測(cè)試表和測(cè)試數(shù)據(jù) create table sqoop_test( id int primary key auto_increment comment '自增id',...
-
Sqoop的使用幫助# 查看命令幫助 [hadoop@hadoop ~]$ sqoop help 20/06/06 18:07:14 INFO sqoop.Sqoop: Running Sqoo...
-
Sqoop部署
# 解壓并創(chuàng)建軟連接 [hadoop@hadoop software]$ tar -xvf sqoop-1.4.6-cdh5.16.2.tar.gz -C ../app/ [...
-
Hive內(nèi)置函數(shù)之字符串函數(shù)和數(shù)學(xué)函數(shù)一、常用字符串函數(shù) 官方文檔：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#Lang...
-
Hive內(nèi)置函數(shù)之時(shí)間函數(shù)零、生產(chǎn)常用組合方式 （0.1）離線數(shù)倉獲取昨天的日期作為分區(qū)，格式y(tǒng)yyyMMdd regexp_replace(date_sub(from_unixtime(unix_t...
-
Linux部署postgresql
# 添加postgres用戶 [root@hadoop ~]# useradd postgres [root@hadoop ~]# id postgres uid=1001(...
-
Hive部署
一、解壓hive并創(chuàng)建軟連接 [hadoop@hadoop ~]$ tar -xvf ~/software/hive-1.1.0-cdh5.16.2.tar.gz -C ~/...
-
Hive常用基礎(chǔ)語句(一)
常用Hive命令 # 清屏 hive> !clear; # 退出 hive> exit; # 查看有哪些數(shù)據(jù)庫 hive> show databases; # 創(chuàng)建數(shù)據(jù)庫 h...
-
Hadoop完全分布式集群部署
一、機(jī)器環(huán)境準(zhǔn)備 （1）、準(zhǔn)備機(jī)器 準(zhǔn)備3臺(tái)機(jī)器，每臺(tái)至少2核8G內(nèi)存。操作系統(tǒng)為Centos7.2。本次采用虛擬機(jī)，3臺(tái)機(jī)器都配置了靜態(tài)ip，并關(guān)閉了防火墻。3臺(tái)機(jī)器hos...
-
Linux部署zookeeper集群
## 先在hadoop001上部署 [hadoop@hadoop001 ~]$ tar -xzvf /home/hadoop/software/zookeeper-3.4.5...
-
Spark2.3.0-cdh5.16.1 standalone部署
# 解壓 [hadoop@hadoop software]$ cd /home/hadoop/software/ [hadoop@hadoop software]$ tar ...
-
Spark2.3.0-cdh5.16.1編譯本次編譯的是spark2.3.0版本，基于Hadoop2.6.0-cdh5.16.1版本進(jìn)行編譯 這里提供編譯好的包以及編譯中需要的jar包的maven本地鏡像 鏈接：htt...
-
自定義CDH版本編譯apache kylin
因kylin官網(wǎng)發(fā)布的2.6.0版本中cdh版本為5.7.0 ，而我們測(cè)試環(huán)境和生產(chǎn)環(huán)境都是cdh5.16.1，所以需要自己調(diào)整cdh版本自己編譯。本文主要記錄編譯過程以及編...
-
Hadoop Yarn 生產(chǎn)資源配置
我司生產(chǎn)環(huán)境的大數(shù)據(jù)集群是用CDH部署的 版本有5.11.1 5.14.1 5.16.1 這三個(gè)版本. 這里主要是講一下生產(chǎn)上面 Hadoop的資源配置情況 一、Data...
-
Yarn架構(gòu)設(shè)計(jì)說明： （1）Client向ResourceManager提交應(yīng)用程序，其中包含了ApplicationMaster主程序和啟動(dòng)命令 （2）ApplicationsManag...
-
HDFS常用命令
一、工作中常用的HDFS的命令整理 說明： 20200527新增命令setfacl 和getfacl,見命令(15) 和 (16) 20200702新增hdfs dfs -l...