hive中order by,sort by, distribute by, cluster by作用以及用法

标签：views   结合   执行   str   desc   语句   mit   查询   pop   

1. order by

2. sort by

    Hive中指定了sort by，那么在每个reducer端都会做排序，也就是说保证了局部有序（每个reducer出来的数据是有序的，但是不能保证所有的数据是有序的，除非只有一个reducer），好处是：执行了局部排序之后可以为接下去的全局排序提高不少的效率（其实就是做一次归并排序就可以做到全局排序了）。

3. distribute by和sort by一起使用

    ditribute by是控制map的输出在reducer是如何划分的，举个例子，我们有一张表，mid是指这个store所属的商户，money是这个商户的盈利，name是这个store的名字

store:

    执行hive语句：

[delphi] view plain copy

1. select mid, money, name from store distribute by mid sort by mid asc, money asc  

我们所有的mid相同的数据会被送到同一个reducer去处理，这就是因为指定了distribute by mid，这样的话就可以统计出每个商户中各个商店盈利的排序了（这个肯定是全局有序的，因为相同的商户会放到同一个reducer去处理）。这里需要注意的是distribute by必须要写在sort by之前。

4. cluster by

    cluster by的功能就是distribute by和sort by相结合，如下2个语句是等价的：

[sql] view plain copy

1. select mid, money, name from store cluster by mid  

[sql] view plain copy

1. select mid, money, name from store distribute by mid sort by mid  

    如果需要获得与3中语句一样的效果：

[sql] view plain copy

1. select mid, money, name from store cluster by mid sort by money  

    注意被cluster by指定的列只能是降序，不能指定asc和desc。

转自：http://blog.csdn.net/jthink_/article/details/38903775

hive中order by,sort by, distribute by, cluster by作用以及用法

标签：views   结合   执行   str   desc   语句   mit   查询   pop   

原文地址：http://www.cnblogs.com/zwgblog/p/6091142.html