前面文章介紹了Hive中是支持分區(qū)的。
關系型數據庫（如Oracle）中，對分區(qū)表Insert數據時候，數據庫自動會根據分區(qū)字段的值，將數據插入到相應的分區(qū)中，Hive中也提供了類似的機制，即動態(tài)分區(qū)(Dynamic Partition)，只不過，使用Hive的動態(tài)分區(qū)，需要進行相應的配置。
先看一個應用場景，源表t_lxw1234的數據如下：
<pre class="prettyprint linenums" style="padding: 8px; color: rgb(68, 68, 68); border-radius: 2px; font-family: Consolas, "Bitstream Vera Sans Mono", "Courier New", Courier, monospace !important; display: block; margin: 0px 0px 20px; font-size: 14px; line-height: 20px; word-break: break-all; word-wrap: break-word; white-space: pre-wrap; background-color: rgb(248, 248, 248); border: 1px solid rgb(238, 238, 238); overflow: hidden; box-shadow: rgb(238, 238, 238) 40px 0px 0px inset, rgb(51, 183, 150) 42px 0px 0px inset; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: left; text-indent: 30px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">
- SELECT day,url FROM t_lxw1234;
- 2015-05-10 url1
- 2015-05-10 url2
- 2015-06-14 url1
- 2015-06-14 url2
- 2015-06-15 url1
- 2015-06-15 url2
- ……
</pre>
目標表為：
<pre class="prettyprint linenums" style="padding: 8px; color: rgb(68, 68, 68); border-radius: 2px; font-family: Consolas, "Bitstream Vera Sans Mono", "Courier New", Courier, monospace !important; display: block; margin: 0px 0px 20px; font-size: 14px; line-height: 20px; word-break: break-all; word-wrap: break-word; white-space: pre-wrap; background-color: rgb(248, 248, 248); border: 1px solid rgb(238, 238, 238); overflow: hidden; box-shadow: rgb(238, 238, 238) 40px 0px 0px inset, rgb(51, 183, 150) 42px 0px 0px inset; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: left; text-indent: 30px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">
- CREATE TABLE t_lxw1234_partitioned (
- url STRING
- ) PARTITIONED BY (month STRING,day STRING)
- stored AS textfile;
</pre>
需求：將t_lxw1234中的數據按照時間(day)，插入到目標表t_lxw1234_partitioned的相應分區(qū)中。
如果按照之前介紹的往指定一個分區(qū)中Insert數據，那么這個需求很不容易實現。
這時候就需要使用動態(tài)分區(qū)來實現，使用動態(tài)分區(qū)需要注意設定以下參數：
- hive.exec.dynamic.partition
默認值：false
是否開啟動態(tài)分區(qū)功能，默認false關閉。
使用動態(tài)分區(qū)時候，該參數必須設置成true;
- hive.exec.dynamic.partition.mode
默認值：strict
動態(tài)分區(qū)的模式，默認strict，表示必須指定至少一個分區(qū)為靜態(tài)分區(qū)，nonstrict模式表示允許所有的分區(qū)字段都可以使用動態(tài)分區(qū)。
一般需要設置為nonstrict
- hive.exec.max.dynamic.partitions.pernode
默認值：100
在每個執(zhí)行MR的節(jié)點上，最大可以創(chuàng)建多少個動態(tài)分區(qū)。
該參數需要根據實際的數據來設定。
比如：源數據中包含了一年的數據，即day字段有365個值，那么該參數就需要設置成大于365，如果使用默認值100，則會報錯。
- hive.exec.max.dynamic.partitions
默認值：1000
在所有執(zhí)行MR的節(jié)點上，最大一共可以創(chuàng)建多少個動態(tài)分區(qū)。
同上參數解釋。
- hive.exec.max.created.files
默認值：100000
整個MR Job中，最大可以創(chuàng)建多少個HDFS文件。
一般默認值足夠了，除非你的數據量非常大，需要創(chuàng)建的文件數大于100000，可根據實際情況加以調整。
- hive.error.on.empty.partition
默認值：false
當有空分區(qū)生成時，是否拋出異常。
一般不需要設置。
那么，上面的需求可以使用如下的語句來完成：
<pre class="prettyprint linenums" style="padding: 8px; color: rgb(68, 68, 68); border-radius: 2px; font-family: Consolas, "Bitstream Vera Sans Mono", "Courier New", Courier, monospace !important; display: block; margin: 0px 0px 20px; font-size: 14px; line-height: 20px; word-break: break-all; word-wrap: break-word; white-space: pre-wrap; background-color: rgb(248, 248, 248); border: 1px solid rgb(238, 238, 238); overflow: hidden; box-shadow: rgb(238, 238, 238) 40px 0px 0px inset, rgb(51, 183, 150) 42px 0px 0px inset; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: left; text-indent: 30px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">
SET hive.exec.dynamic.partition=true;
SET hive.exec.dynamic.partition.mode=nonstrict;
SET hive.exec.max.dynamic.partitions.pernode = 1000;
SET hive.exec.max.dynamic.partitions=1000;
INSERT overwrite TABLE t_lxw1234_partitioned PARTITION (month,day)
SELECT url,substr(day,1,7) AS month,day
FROM t_lxw1234;
</pre>
注意：在PARTITION (month,day)中指定分區(qū)字段名即可；
在SELECT子句的最后兩個字段，必須對應前面PARTITION (month,day)中指定的分區(qū)字段，包括順序。
執(zhí)行結果如下：
Loading data to table liuxiaowen.t_lxw1234_partitioned partition (month=null, day=null)
Loading partition {month=2015-05, day=2015-05-10}
Loading partition {month=2015-06, day=2015-06-14}
Loading partition {month=2015-06, day=2015-06-15}
Partition liuxiaowen.t_lxw1234_partitioned{month=2015-05, day=2015-05-10} stats: [numFiles=1, numRows=2, totalSize=10, rawDataSize=8]
Partition liuxiaowen.t_lxw1234_partitioned{month=2015-06, day=2015-06-14} stats: [numFiles=1, numRows=2, totalSize=10, rawDataSize=8]
Partition liuxiaowen.t_lxw1234_partitioned{month=2015-06, day=2015-06-15} stats: [numFiles=1, numRows=2, totalSize=10, rawDataSize=8]
使用show partitions t_lxw1234_partitioned;查看目標表有哪些分區(qū)：
hive> show partitions t_lxw1234_partitioned;
OK
month=2015-05/day=2015-05-10
month=2015-06/day=2015-06-14
month=2015-06/day=2015-06-15
