Sqoop2的安裝和使用

  1. 解壓并安裝
sudo tar xvfz sqoop-1.99.6-bin-hadoop200.tar.gz 
sudo mv sqoop-1.99.6-bin-hadoop200 sqoop/
sudo chmod -R 775 sqoop/
 sudo chown -R zhonglan  sqoop/
  1. 修改環(huán)境變量
zhonglan@Master:~$ sudo vim  /etc/profile
#sqoop
export SQOOP_HOME=$HOME/sqoop
export PATH=$SQOOP_HOME/bin:$PATH
export CATALINA_BASE=$SQOOP_HOME/server
export LOGDIR=$SQOOP_HOME/logs
hadoop@Master:~$ source /etc/profile
  1. 修改sqoop的環(huán)境變量
zhonglan@Master:/$ sudo vim  /home/zhonglan/sqoop/server/conf/sqoop.properties 
#修改指向我的hadoop安裝目錄  
org.apache.sqoop.submission.engine.mapreduce.configuration.directory= /home/zhonglan/hadoop/etc/hadoop  
#catalina.properties 
zhonglan@Master:/$ sudo vim /home/zhonglan/sqoop/server/catalina.properties 
common.loader=/home/zhonglan/hadoop/share/hadoop/common/*.jar,/home/zhonglan/hadoop/share/hadoop/common/lib/*.jar,/home/zhonglan/hadoop/share/hadoop/hdfs/*.jar,/home/zhonglan/hadoop/share/hadoop/hdfs/lib/*.jar,/home/zhonglan/hadoop/share/hadoop/mapreduce/*.jar,/home/zhonglan/hadoop/share/hadoop/mapreduce/lib/*.jar,/home/zhonglan/hadoop/share/hadoop/tools/*.jar,/home/zhonglan/hadoop/share/hadoop/tools/lib/*.jar,/home/zhonglan/hadoop/share/hadoop/yarn/*.jar,/home/zhonglan/hadoop/share/hadoop/yarn/lib/*.jar,/home/zhonglan/hadoop/share/hadoop/httpfs/tomcat/lib/*.jar,

下載mysql驅(qū)動包,mysql-connector-java-5.1.27.jar
把jar包丟到到$SQOOP_HOME/server/lib下面

sudo cp mysql-connector-java-5.1.27.jar $SQOOP_HOME/server/lib

有時,啟動sqoop時可能會遇到找不到JAVA_HOME的情況,為了保險起見我們直接在配置文件中寫入JAVA_HOME
在/home/zhonglan/sqoop/bin/sqoop.sh中,添加

   export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.111-1.b15.el7_2.x86_64
  HADOOP_COMMON_HOME=/home/zhonglan/hadoop/share/hadoop/common
  HADOOP_HDFS_HOME=/home/zhonglan/hadoop/share/hadoop/hdfs
  HADOOP_MAPRED_HOME=/home/zhonglan/hadoop/share/hadoop/mapreduce
  HADOOP_YARN_HOME=/home/zhonglan/hadoop/share/hadoop/yarn
  1. 啟動sqoop
    sqoop.sh server start
  2. 驗證啟動成功
./sqoop.sh server start    啟動 
./sqoop.sh server stop     停止
./sqoop.sh client          進入客戶端
set server --host hadoopMaster --port 12000 --webapp sqoop 設(shè)置服務器,注意hadoopMaster為hdfs主機名
show connector --all    查看連接類型
create link --cid 1    創(chuàng)建連接,cid為連接類型id
show link 查看連接
update link -l 1 修改id為1的連接
delete link -l 1 刪除id為1的連接
create job -f 1 -t 2 創(chuàng)建從連接1到連接2的job
show job 查看job
update job -jid 1    修改job
delete job -jid 1    刪除job
status job -jid 1    看看job狀態(tài)
stop job -jid    1   停止job
  1. Sqoop2使用
sqoop.sh client

7.Sqoop2和Sqoop1區(qū)別

參考文檔:
1.sqoo2安裝
https://chu888chu888.gitbooks.io/hadoopstudy/content/Content/9/chapter0901.html
2.Sqoop1、Sqoop2功能差異及使用示例
http://udn.yyuap.com/doc/ae/921008.html#_Toc428540440

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容