約定：
本次安裝測(cè)內(nèi)容
1， SQOOP 從 數(shù)據(jù)庫(kù)中導(dǎo)入數(shù)據(jù)到HDFS
2， SQOOP 從 數(shù)據(jù)庫(kù)中導(dǎo)入數(shù)據(jù)到HIVE
3， SQOOP 從HIVE中將數(shù)據(jù)導(dǎo)出到數(shù)據(jù)庫(kù)
下載安裝文件
第一步解壓：
tar -zxvf sqoop-1.4.6-cdh5.5.2.tar.gz -C /opt/
mv sqoop-1.4.6-cdh5.5.2/ sqoop
第二步驟
將mysql的驅(qū)動(dòng)包拷貝到 sqoop_home/lib下面
第三步驟：配置環(huán)境變量（注意修改為自己的路徑）
export SQOOP_HOME=/opt/cdh5/sqoop
export PATH=$PATH:$SQOOP_HOME/bin
第四步：配置SQOOP
修改為自己的安裝目錄
第五步：檢測(cè)配置
Sqoop version 查看版本號(hào)是否返回即可
開(kāi)始使用：
前提： Mysql可以正常使用
HDFS服務(wù)開(kāi)啟
HIVE服務(wù)開(kāi)啟 ： nohup hive --service metastore &
一、 查看當(dāng)前MYSQL中的元數(shù)據(jù)信息
查看數(shù)據(jù)庫(kù)
sqoop list-tables --connect jdbc:mysql://192.168.133.139:3306/hive --username hive –P
查看表
sqoop list-tables --connect jdbc:mysql://192.168.133.139:3306/hive --username hive -P
#使用 sqoop將數(shù)據(jù)庫(kù)的數(shù)據(jù)導(dǎo)入到 Hdfs（地址使用默認(rèn)地址/user/$user/tabname）
sqoop import \
--connect jdbc:mysql://192.168.128.152:3306/hive \
--username hive \
--password hive \
--table TBLS
#列出指定數(shù)據(jù)庫(kù)下面的 表的列表
sqoop list-tables --connect jdbc:mysql://192.168.128.152:3306/hive \
--username hive \
--password hive
#使用 sqoop將數(shù)據(jù)庫(kù)的數(shù)據(jù)導(dǎo)入到 Hdfs
#使用指定的輸出目錄
#使用指定的并發(fā)數(shù)量
sqoop import \
--connect jdbc:mysql://192.168.128.152:3306/hive \
--username hive --password hive \
--table TABLE_PARAMS \
--target-dir /tmp/TABLE_PARAMS \
-m 2
#使用sqoop將HDFS文件導(dǎo)出到 MYSQL 表中，默認(rèn)MAP為 4個(gè)
sqoop export \
--connect jdbc:mysql://192.168.128.152:3306/hive \
--table table_bak \
--username hive \
--password hive \
--export-dir hdfs://192.168.128.152:9000/tmp/TABLE_PARAMS
TBLS_BAK
----------------------我是分界線(xiàn)---------------------------------------------------------
#使用自定義的條件，并且過(guò)濾字段，并發(fā)數(shù)為1
#切分的字段可以更改為另外一個(gè)字段
sqoop import \
--connect jdbc:mysql://192.168.128.152:3306/hive \
--username hive \
--password hive \
--query "SELECT PARAM_VALUE from hive.TABLE_PARAMS where \$CONDITIONS and TBL_ID>7" \
--split-by TBL_ID \
-m 1 \
--target-dir /tmp/TABLE_PARAMS_BAK
sqoop import \
--hive-import \
--hive-table kk \
--connect jdbc:mysql://192.168.128.152:3306/hive \
--username hive \
--password hive \
--query "SELECT PARAM_VALUE from hive.TABLE_PARAMS where \$CONDITIONS and TBL_ID>7" \
--fields-terminated-by "," \
--lines-terminated-by "\n" \
--target-dir /tmp/aa \
-m 1
