一、什么时候可以避免执行MapReduce？select
*where语句中只有分区字段
二、Jion优化驱动表最右边查询表表的大小从左边到右边依次增大标志机制显示的告知查询优化器哪张表示大表/*+streamtable(table_name)*/
三、Map-side聚合sethive.map.aggr=true;这个设置可以将顶层的聚合操作放在Map阶段执行，从而减轻清洗...
分类：
其他好文 时间：
2015-06-12 17:24:34
阅读次数：
174
一、??? 控制hive任务中的map数: 1.??? 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hiv...
分类：
其他好文 时间：
2015-06-08 17:38:16
阅读次数：
2839
1.当hive执行join内存溢出时，可以修改hive的配置文件hive-site.xml，增大内存，如下： mapred.child.java.opts -Xmx 1024m
2.hive默认建表时的路径也可以在hive-site.xml里配置，如下:
hive.metastore.warehouse.dir value >/user/hive/warehouse descriptio...
分类：
其他好文 时间：
2015-05-14 18:50:49
阅读次数：
177
CLUSTERED BY 将数据分组以进入不同的bucket中 INTO num_buckets BUCKETS]SKEWED BY 对于倾斜的数据，指定在哪些值倾斜，从而做优化。http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.9.1/bk...
分类：
其他好文 时间：
2015-05-11 12:57:29
阅读次数：
141
1. Hive自己如何确定reduce数： reduce个数的设定极大影响任务执行效率，不指定reduce个数的情况下，Hive会猜测确定一个reduce个数，基于以下两个设定： hive.exec.reducers.bytes.per.reducer（每个reduce任务处...
分类：
其他好文 时间：
2015-05-06 18:27:44
阅读次数：
210
1.Hive自己如何确定reduce数：reduce个数的设定极大影响任务执行效率，不指定reduce个数的情况下，Hive会猜测确定一个reduce个数，基于以下两个设定：hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G）hive.exec.reducers.max（每个任务最..
分类：
其他好文 时间：
2015-05-06 18:18:25
阅读次数：
136
1. Hive自己如何确定reduce数：
reduce个数的设定极大影响任务执行效率，不指定reduce个数的情况下，Hive会猜测确定一个reduce个数，基于以下两个设定：
hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G）
hive.exec.reducers.max（每个任务最大的reduce数，...
分类：
其他好文 时间：
2015-05-06 17:58:06
阅读次数：
129
1. Hive自己如何确定reduce数：reduce个数的设定极大影响任务执行效率，不指定reduce个数的情况下，Hive会猜测确定一个reduce个数，基于以下两个设定：hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^...
分类：
其他好文 时间：
2015-05-06 17:05:48
阅读次数：
251
如何合并小文件，减少map数？假设一个SQL任务：Selectcount(1)frompopt_tbaccountcopy_meswherept=‘2012-07-04’;该任务的inputdir/group/p_sdo_data/p_sdo_data_etl/pt/popt_tbaccountcopy_mes/pt=2012-07-04共有194个文件，其中很多是远远小于128m的小文件，总大小9G，正常..
分类：
其他好文 时间：
2015-05-05 16:48:39
阅读次数：
123
如何合并小文件，减少map数？
假设一个SQL任务：
Select count(1) from popt_tbaccountcopy_mes where pt = ‘2012-07-04’;
该任务的inputdir/group/p_sdo_data/p_sdo_data_etl/pt/popt_tbaccountcopy_mes/pt=2012-07-04
共有194个文件，其中很多是远...
分类：
其他好文 时间：
2015-05-05 16:36:33
阅读次数：
248
