測試數(shù)據(jù)
95001,李勇,男,20,CS
95002,劉晨,女,19,IS
95003,王敏,女,22,MA
95004,張立,男,19,IS
95005,劉剛,男,18,MA
95006,孫慶,男,23,CS
95007,易思玲,女,19,MA
95008,李娜,女,18,CS
95009,夢圓圓,女,18,MA
95010,孔小濤,男,19,CS
95011,包小柏,男,18,MA
95012,孫花,女,20,CS
95013,馮偉,男,21,CS
95014,王小麗,女,19,CS
95015,王君,男,18,MA
95016,錢國,男,21,MA
95017,王風(fēng)娟,女,18,IS
95018,王一,女,19,IS
95019,邢小麗,女,19,IS
95020,趙錢,男,21,IS
95021,周二,男,17,MA
95022,鄭明,男,20,MA
創(chuàng)建分桶表
drop table stu_buck;
create table stu_buck(Sno int,Sname string,Sex string,Sage int,Sdept string)
clustered by(Sno) //根據(jù)Sno分桶
sorted by(Sno DESC)
into 4 buckets
row format delimited
fields terminated by ',';
設(shè)置變量,設(shè)置分桶為true, 設(shè)置reduce數(shù)量是分桶的數(shù)量個(gè)數(shù)
set hive.enforce.bucketing = true;
set mapreduce.job.reduces=4;
加載數(shù)據(jù)
load data local inpath '/mnt/hgfs/share_folder/hiveDATA/students.txt' into table stu_buck;
Loading data to table default.stu_buck
Table default.stu_buck stats: [numFiles=1, totalSize=526]
檢查剛剛加載的數(shù)據(jù)
select * from stu_buck;
OK
95001 李勇 男 20 CS
95002 劉晨 女 19 IS
95003 王敏 女 22 MA
95004 張立 男 19 IS
95005 劉剛 男 18 MA
95006 孫慶 男 23 CS
95007 易思玲 女 19 MA
95008 李娜 女 18 CS
95009 夢圓圓 女 18 MA
95010 孔小濤 男 19 CS
95011 包小柏 男 18 MA
95012 孫花 女 20 CS
95013 馮偉 男 21 CS
95014 王小麗 女 19 CS
95015 王君 男 18 MA
95016 錢國 男 21 MA
95017 王風(fēng)娟 女 18 IS
95018 王一 女 19 IS
95019 邢小麗 女 19 IS
95020 趙錢 男 21 IS
95021 周二 男 17 MA
95022 鄭明 男 20 MA
創(chuàng)建測試數(shù)據(jù)表
> create table t_p(Sno int,Sname string)
row format delimited fields terminated by ',';
//結(jié)合mapreduce。map輸出的數(shù)據(jù)都有分區(qū)的概念，分區(qū)的時(shí)候有一個(gè)根據(jù)key來partionar， cluster by即指定key是根據(jù)哪個(gè)字段來排序，則reduce拿到的數(shù)據(jù)就是hashKey%bucket的個(gè)數(shù)，形成bucket個(gè)數(shù)的文件，sort by:每個(gè)bucket的文件內(nèi)部數(shù)據(jù)排序
distribute by指定分區(qū)字段 sort by：指定排序字段
select Sno,Sname from stu_buck cluster by (Sno);
OK
95001 李勇
95002 劉晨
95003 王敏
95004 張立
95005 劉剛
95006 孫慶
95007 易思玲
95008 李娜
95009 夢圓圓
95010 孔小濤
95011 包小柏
95012 孫花
95013 馮偉
95014 王小麗
95015 王君
95016 錢國
95017 王風(fēng)娟
95018 王一
95019 邢小麗
95020 趙錢
95021 周二
95022 鄭明
//只排序
select Sno,Sname from stu_buck sort by (Sno);
OK
95001 李勇
95002 劉晨
95003 王敏
95004 張立
95005 劉剛
95006 孫慶
95007 易思玲
95008 李娜
95009 夢圓圓
95010 孔小濤
95011 包小柏
95012 孫花
95013 馮偉
95014 王小麗
95015 王君
95016 錢國
95017 王風(fēng)娟
95018 王一
95019 邢小麗
95020 趙錢
95021 周二
95022 鄭明
select Sno,Sname from stu_buck distribute by (Sno) sort by (Sno);
OK
95001 李勇
95002 劉晨
95003 王敏
95004 張立
95005 劉剛
95006 孫慶
95007 易思玲
95008 李娜
95009 夢圓圓
95010 孔小濤
95011 包小柏
95012 孫花
95013 馮偉
95014 王小麗
95015 王君
95016 錢國
95017 王風(fēng)娟
95018 王一
95019 邢小麗
95020 趙錢
95021 周二
95022 鄭明
加載分桶數(shù)據(jù)到空表t_p
insert into table t_p
select Sno,Sname from stu_buck cluster by (Sno);
加載完成后查詢新表數(shù)據(jù)
//hive表默認(rèn)目錄
dfs -ls /user/hive/warehouse/;
dfs -cat /user/hive/warehouse/t_p/000000_0;//應(yīng)該也是4個(gè)同樣的分桶
注：1、order by 輸出數(shù)據(jù)一定全局有序，因此只有一個(gè)reducer（哪怕設(shè)置了 hive> set mapredce.job.reduces=4 運(yùn)行sql時(shí)仍會被重置為1個(gè)），會導(dǎo)致當(dāng)輸入規(guī)模較大時(shí)，需要較長的計(jì)算時(shí)間。
2、sort by不是全局排序，其在數(shù)據(jù)進(jìn)入reducer前完成排序。因此，如果用sort by進(jìn)行排序，并且設(shè)置mapred.reduce.tasks>1，則sort by只保證每個(gè)reducer的輸出有序，不保證全局有序。
3、distribute by(字段)根據(jù)指定的字段將數(shù)據(jù)分到不同的reducer，且分發(fā)算法是hash散列。
4、（Cluster by字段) 除了具有Distribute by的功能外，還會對該字段進(jìn)行排序。因此，如果分桶和sort字段是同一個(gè)時(shí)，此時(shí)，cluster by = distribute by + sort by
分桶表的作用：最大的作用是用來提高join操作的效率；
（思考這個(gè)問題：select a.id,a.name,b.addr from a join b on a.id = b.id;
如果a表和b表已經(jīng)是分桶表，而且分桶的字段是id字段做這個(gè)join操作時(shí)，還需要全表做笛卡爾積嗎？）
如果兩個(gè)表的分桶個(gè)數(shù)不一致：那么分桶聯(lián)查就沒意義，但是為倍數(shù)的時(shí)候還是有意義的
insert overwrite table student_buck
select * from student cluster by(Sno) sort by(Sage); 報(bào)錯(cuò),cluster 和 sort 不能共存
開會往創(chuàng)建的分通表插入數(shù)據(jù)(插入數(shù)據(jù)需要是已分桶, 且排序的)
可以使用distribute by(sno) sort by(sno asc) 或是排序和分桶的字段相同的時(shí)候使用Cluster by(字段)
注意使用cluster by 就等同于分桶+排序(sort)
insert into table stu_buck
select Sno,Sname,Sex,Sage,Sdept from student distribute by(Sno) sort by(Sno asc);
insert overwrite table stu_buck
select * from student distribute by(Sno) sort by(Sno asc);
insert overwrite table stu_buck
select * from student cluster by(Sno);
