本文是基于hive-1.4.6文檔

sqoop從rdbms導(dǎo)數(shù)據(jù)到hdfs

1. 連接數(shù)據(jù)庫
   sqoop import --connect jdbc:mysql://database_host/database_name
   使用用戶名和密碼連接
   sqoop import --connect jdbc:mysql://database_host/database_name --username my_name --password mypassword
2. 選擇要導(dǎo)入的數(shù)據(jù)，包括導(dǎo)入的表，要導(dǎo)入的列
   --table table_name指定要導(dǎo)入的表。默認情況下會選擇表中的所有列。
   --columns "col1,col2,...,"，選擇要導(dǎo)入的列。
   --where condition 選擇滿足condition的行導(dǎo)入。
3. 也可以指定一個查詢語句，以這個查詢語句的結(jié)果作為導(dǎo)入的數(shù)據(jù)：
   --query 'select xxx from xxx where $CONDITION'
where $CONDITION不是必須的，除非當需要sqoop并行的導(dǎo)入查詢語句的結(jié)果時，sqoop會根據(jù)--split-by指定的列分區(qū)，然后將$CONDITION 替換為分區(qū)條件。
   使用了where $CONDITION就意味著必須使用--split-by
4. 并行導(dǎo)入
   sqoop通過運行map-reduce完成數(shù)據(jù)導(dǎo)入，sqoop需要知道：1. 如何劃分mr任務(wù)(即沒個任務(wù)負責導(dǎo)入哪些數(shù)據(jù),)；2. 任務(wù)并行度.
   • -m num_map 指定任務(wù)并行度為num_map，也就是map任務(wù)的個數(shù)
   • --split-by col_name, 劃分mr任務(wù)，當指定--split-by時，sqoop會運行select min(col_name), max(col_name) from <table name>來確定col_name范圍，返回根據(jù)-m選項值平均劃分這個范圍，作為每個mr任務(wù)負責數(shù)據(jù)范圍，
   • 沒有指定--split-by時，會根據(jù)主鍵劃分
   • 沒有主鍵又沒有--split-by時，任務(wù)就不能并行的運行，此時必須指定-m 1或者--autoreset-to-one-mapper只運行一個map任務(wù)。
5. 控制從rdbms導(dǎo)入數(shù)據(jù)時事務(wù)隔離級別
   sqoop導(dǎo)入數(shù)據(jù)應(yīng)該是通過查詢語句從rdbms中獲取數(shù)據(jù)，默認的隔離級別是read-commit, 通過--relaxed-isolation將隔離級別降至read-uncommited.
6. 設(shè)置輸出行格式
   sqoop從rdbms導(dǎo)入然后輸出到hdfs上普通的text文件時，總是需要特定分隔符確定rdbms中的一行，以及分隔符確定列。mysql默認是'\n'分割行，','分割列。這種分割方式在數(shù)據(jù)庫列中存在'\n'或者'，'時會出錯。
   通過如下選項避免：
   • --enclosed-by <char> 用來包圍列的，比如：

   // 假設(shè)下面字符串是數(shù)據(jù)庫表中三列，用|隔開每列
   this is a test, must be in one column | 1 | test
   // --enclosed-by '"'，用引號包圍每列，假設(shè)輸出hdfs文件以，分割列
   "this is a test, must be in one column", "1", "test"

• --escaped-by <char>
  配合上面的一起用，如果列中有字符和enclosed-by指定的一樣，使用es
  caped-by，比如：

  // 假設(shè)下面字符串是數(shù)據(jù)庫表中三列，用|隔開每列
   this is a test ", must be in one column   |  1  |  test 
 // --enclosed-by '\"' --escaped-by '\\'，用引號包圍每列，假設(shè)輸出hdfs文件以，分割列
  "this is a test \", must be in one column", "1", "test"
   ```
- --fields-terminated-by <char>
 指定域分割符，也就是輸出到hdfs text文件時分割用的，默認 ','
- --lines-terminated-by <char>
  行分割符，rdbms中一行對應(yīng)到hdfs text文件中一行，指定行分割符，默認'\n'

## 增量導(dǎo)入
 增量導(dǎo)入有兩種模式：1. 導(dǎo)入新加到數(shù)據(jù)庫中的數(shù)據(jù)；2. 導(dǎo)入修改的數(shù)據(jù)。
 無論哪種模式都需一個比較基準判斷什么數(shù)據(jù)是新加的（比如大于某個id的都是新加的），或者什么數(shù)據(jù)是修改的（大于某個時間都是新修改的）。
- `--check-column col` 用于判斷的列，檢查這個列的值并和基準比較判斷是否要被增量導(dǎo)入。
-  `--incremental mode` mode可選：1. append, 只導(dǎo)入新加的數(shù)據(jù)；2. lastmodified，導(dǎo)入更新的數(shù)據(jù)。
-  `--last-value`,判斷基準，對于append，它可能是整型的id值，大于該id的導(dǎo)入，對于lasmodified它可能是時間戳。

##sqoop從rdbms導(dǎo)入到hive
1. 使用`sqoop import  --hive-import ...`
     目標hive表的名字默認和--table中名字一樣。
2. `--hive-overwrite`會在目標hive存在是丟棄其中所有數(shù)據(jù)。
3. `--create-hive-table `會在目標hive不存在是創(chuàng)建，存在會拋異常
4. `--hive-home path/to/your/hive_home`sqoop會創(chuàng)建hive表，設(shè)置hive home，sqoop會使用HIVE_HOME/bin/hive命令
5. 當hive使用文本格式存儲數(shù)據(jù)時，默認的行分隔符為'\n\r', field(也就是列)分隔符是'\01'(vim里ctrl + A) 。如果數(shù)據(jù)庫表中列數(shù)據(jù)中包含這些hive默認分割符，顯然存儲的數(shù)據(jù)在hive解析時會出錯。
  - --hive-drop-import-delims , 用于import時丟棄rdbms中這個字段丟棄。
  -  --hive-delims-replacement, 用于import時將rdbms中這些分隔符字段替換成另外的。
6. 關(guān)與數(shù)據(jù)庫中的列為NULL的字段，默認sqoop會使用字符串"null"表示，而HIVE中NULL使用\N表示，顯然使用HIVE SQL ‘is null‘判斷會出錯。
  - --null-string '\\N'， 用于import時將rdbms中的NULL替換成HIVE使用的'\\N', 這個選項用于rdbms中的string類型的列。
  -  --null-non-string '\\N'，和上面作用一樣，設(shè)置非string列
  -  --input-null-string，--input-null-non-string,用于從hdfs導(dǎo)出到rdbms時，設(shè)置rdbms的null值
7. --hive-partition-key par-key，--hive-partition-value par-value，將數(shù)據(jù)導(dǎo)到指定的HIVE表分區(qū)， hive-partition-key設(shè)置成hive表的分區(qū)列，hive-partition-value設(shè)置成該列的值。sqoop應(yīng)該會運行:
    `load data inpath hdfs_path into table table_name partition(par-key=par-value)`