Hive動態(tài)分區(qū)

• 幾個參數(shù)
  • set hive.exec.dynamic.partition=true //使用動態(tài)分區(qū)
  • set hive.exec.dynamic.partition.mode=nonstrick;//無限制模式，如果模式是strict，則必須有一個靜態(tài)分區(qū)，且放在最前面
  • set hive.exec.max.dynamic.partitions.pernode=10000;//每個節(jié)點(diǎn)生成動態(tài)分區(qū)的最大個數(shù)
  • set hive.exec.max.dynamic.partitions=100000;//生成動態(tài)分區(qū)的最大個數(shù)
  • set hive.exec.max.created.files=150000;//一個任務(wù)最多可以創(chuàng)建的文件數(shù)目
  • set dfs.datanode.max.xcievers=8192;//限定一次最多打開的文件數(shù)
• 例子

create table d_part(name string) 
partitioned by (value string) 
row format delimited fields terminated by '\t'
lines terminated by '\n' stored as textfile

insert overwrite table d_part 
partition(value)
select name,addr as value from testxt