码迷,mamicode.com
首页 > 其他好文 > 详细

hive优化

时间:2015-05-11 12:57:29      阅读:141      评论:0      收藏:0      [点我收藏+]

标签:

CLUSTERED BY  将数据分组以进入不同的bucket中 INTO num_buckets BUCKETS]
SKEWED BY 对于倾斜的数据,指定在哪些值倾斜,从而做优化。

如何配置yarn的内存;
提供了一个脚本生成参考配置值;

With the following options:

OptionDescription
-c CORESThe number of cores on each host.
-m MEMORYThe amount of memory on each host in GB.
-d DISKSThe number of disks on each host.
-k HBASE"True" if HBase is installed, "False" if not.

Note: You can also use the -h or --help option to display a Help message that describes the options.

Running the following command:

  1. [root@jason3 scripts]# python yarn-utils.py -c 24 -m 64 -d 12 -k False
  2. Using cores=24 memory=64GB disks=12 hbase=False
  3. Profile: cores=24 memory=57344MB reserved=8GB usableMem=56GB disks=12
  4. Num Container=22
  5. Container Ram=2560MB
  6. Used Ram=55GB
  7. Unused Ram=8GB
  8. yarn.scheduler.minimum-allocation-mb=2560
  9. yarn.scheduler.maximum-allocation-mb=56320
  10. yarn.nodemanager.resource.memory-mb=56320
  11. mapreduce.map.memory.mb=2560
  12. mapreduce.map.java.opts=-Xmx2048m
  13. mapreduce.reduce.memory.mb=2560
  14. mapreduce.reduce.java.opts=-Xmx2048m
  15. yarn.app.mapreduce.am.resource.mb=2560
  16. yarn.app.mapreduce.am.command-opts=-Xmx2048m
  17. mapreduce.task.io.sort.mb=1024
  18. [root@jason3 scripts]#





hive优化

标签:

原文地址:http://www.cnblogs.com/zwCHAN/p/4494053.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!