码迷,mamicode.com
首页 > 其他好文 > 详细

Hive优化

时间:2020-03-29 19:55:40      阅读:105      评论:0      收藏:0      [点我收藏+]

标签:存储空间   NPU   pre   不同的   业务需求   时间   dynamic   core   磁盘存储   

整体架构优化点:

根据不同业务需求进行日期分区, 并执行类型动态分区。

hive.exec.dynamic.partition=true

为了减少磁盘存储空间以及I/O次数, 对数据进行压缩(Gzip)

mapreduce.output.fileoutputformat.compress=true

mapreduce.output.fileoutputformat.compress.type=BLOCK
mapreduce.output.fileoutputformat.compress.codec=org.apache.io.compress.GzipCodec

mapreduce.map.output.compress=true

mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.GzipCodec

hive.exec.compress.output=true

hive.exec.compress.intermediate=true

hive中间表以SequenceFile保存, 可以节约序列化和反序列化时间

hive.query.result.fileformat=SequenceFile

yarn优化

为了易于管理资源和调度资源,Hadoop YARN内置了资源规整化算法,它规定了最小可申请资源量、最大可申请资源量和资源规整化因子,如果应用程序申请的资源量小于最小可申请资源量,则YARN会将其大小改为最小可申请量,也就是说,应用程序获得资源不会小于自己申请的资源,但也不一定相等 。

如果应用程序申请的资源量大于最大可申请资源量,则会抛出异常,无法申请成功

规整化因子是用来规整化应用程序资源的,应用程序申请的资源如果不是该因子的整数倍,则将被修改为最小的整数倍对应的值,公式为ceil(a/b)*b [a: 应用程序申请的资源, b: 规整化因子]

yarn-site.xml中参数设置:

# 最小可申请内存量, 默认是1024

yarn.schedular.minimum-allocation-mb

# 最小可申请CPU数, 默认为1

yarn.schedular.minimum-allocation-vcores

# 最大可申请内存量, 默认为8096

yarn.schedular.maximum-allocation-mb

# 最大可申请CPU数, 默认为4

yarn.schedular.maximum-allocation-vcores

规整化因子对于不同的调度器不同:

FIFO(First In First Out) 和 Capacity Scheduler

规整化因子等于最小可申请资源量, 不可单独配置

Fair Scheduler(公平调度)

规整化因子通过yarn.schedular.increment-allocation-mb和yarn.schedular.increment-allocation-vcores设置, 默认是1024和1。

mapreduce优化

reduce切割算法:

hive.exec.reducers.max=999
hive.exec.reducers.bytes.per.reducer=1G
reduce task num=min{reducers.max,input.size/bytes.per.reducer}
##可以根据实际需求来调整reducer个数

SQL优化

整体优化策略:

去除查询中不需要的column

Where条件判断等在TableScan阶段就进行过滤

利用Partition信息, 只读取符合条件的Partition

Map端join, 以大表作驱动, 小表载入所有mapper内存中

调整Join顺序, 确保以大表作为驱动表

对于数据分布不均匀的表Group by时, 为避免数据集中到少数的reducer上, 分成两个map-reduce阶段。第一个阶段先用Distinct列进行shuffle, 然后在reduce端部分聚合, 减小数据规模, 第二个阶段, 再按group-by列聚合。

在map端用hash进行部分聚合, 减小reduce端数据处理规模。

 

Hive优化

标签:存储空间   NPU   pre   不同的   业务需求   时间   dynamic   core   磁盘存储   

原文地址:https://www.cnblogs.com/songyuejie/p/12594092.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!