举例说明:(也可用insert将查询的结果导出文件)
1. order by全局排序
select * from em
where empno >7800
order by empno
limit 3;(显示工号大于7800员工的最后三名。)
只是针对所有数据全局排序,全局排序只有一个reducer,效率低。运行慢。
2.sort by排序,为每个reducer产生一个排序文件
①设置 mapreduce.job.reduces 即reduce任务个数 ,如果为1跟order by 解果一样。
set mapreduce.job.reduces; 回车以后显示mapred.reduce.task的值
set mapreduce.job.reduces=3;临时设置的值,一旦hive关闭重启就没用了。
②sort by是在reduce之间排序,
insert overwrite local directory ‘/home/wang/mydata/sort‘
row format delimited fields terminated by ‘\t‘
select empno,ename ,deptno from emp
sort by empno;
结果是3个文件夹,随机分布的数据,然后给每个文件夹里的数据按empno进行了排序。
insert overwrite directory ‘/user/hive/‘
row format delimited fields terminated by ‘\t‘
select empno,ename ,deptno from emp
sort by empno //sort by (empno asc/dsc)
3.distributed 类似于mapreduce里的patition分区(根据指定值hash散列到不同文件)一般要结合sort by使用。
set mapreduce.job.reduces=3;
insert overwrite local directory ‘/home/wang/mydata/sort‘
row format delimited fields terminated by ‘\t‘
select empno,ename,deptno from emp
distribute by deptno
sort by empno
这里的输出结果是sort下面三个文件夹,分别是三个部门员工的文件夹,且每个部门按工号排序
4.cluster by :除了具有Distribute by的分区的功能外,还会对该字段进行排序
当distribute和sort字段相同时,就是cluster by,即分区的字段和排序的字段相同
insert overwrite local directory ‘/home/wang/mydata/sort‘
row format delimited fields terminated by ‘\t‘
select empno,ename ,deptno from emp
distribute by deptno
sort by deptno;
等价与(cluter可以用sort+distribute替换,但d+s,cluster不一定可以替换)
insert overwrite local directory ‘/home/robot/mydata/sort‘
row format delimited fields terminated by ‘\t‘
select empno,ename ,deptno from emp
cluster by depno;