hive小文件处理

标签：base   sql   聚合   memory   hba   jvm优化   nod   名称   image   

先搬个砖：

一：Hive是什么

二：mapreduce的基本流程及阶段可进行的优化操作

   （其实有很多不用设置有默认的设置或设置后反而执行时间长，此处做了解，参考设置在下一节）

       附上网上的一张老图（虽然老但是很具有代表性，哈哈哈）     

       上面的图知道，对于mapreduce任务可分为以上几个步骤，input、splitting、Mapping、Shuffing、reducing、finalresult，我们可以对这些阶段进行分别的优化！！

Splitting阶段优化：将输入数据进行按照大小节分，分成不同的块。

           优化点：1.适当增加切割块的大小（单个节点先按照maxsize进行切分，剩下的进行minsize大小的合并。然后是节点之间的合并，最后是机架之间的合并。）

                     set mapreduce.input.fileinputformat.split.minsize = 1024000000;
                     set mapreduce.input.fileinputformat.split.maxsize = 1024000000;（默认256M）
                     set mapreduce.input.fileinputformat.split.minsize.per.node= 1024000000;
                     set mapreduce.input.fileinputformat.split.maxsize.per.node= 1024000000;（默认1b）
                     set mapreduce.input.fileinputformat.split.minsize.per.rack= 1024000000; 
                     set mapreduce.input.fileinputformat.split.maxsize.per.rack= 1024000000;（默认1b）
                     set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;（默认存在）

Mapping阶段优化：将相同的key进行对应的转换，其实map的个数取决于上一阶段切割的最终的数据块个数。

          优化点：1.手动规定map的个数（例子：任务中有100个map，但是可以使map分批执行一批10个）

                     set mapreduce.job.running.map.limit=20;

          2.规定map同时并行的个数（例子：任务中有100个map，但是可以使map分批执行一批10个）

                     set mapreduce.map.memory.mb=3584;(3.5G内存)  默认2.1倍会杀掉

          3.限制map可使用的最大内存

                     set hive.map.aggr = true
                     set hive.groupby.mapaggr.checkinterval = 100000（将数据每100000进行聚合）

Shuffing阶段优化：将相同的的key放到一个reduce中，其实是一个网络传输的过程。

         优化点：1.map后进行压缩（压缩后自动解压）

                     set mapreduce.map.output.compress=true（map输出压缩，mapreduce参数）
                     set mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.GzipCodec（map输出压缩格式，mapreduce参数） 

          2.map后进行合并文件操作

                     set hive.merge.mapfiles = true（新启一个job完成合并，合并多大set hive.merge.size.per.task决定）

reducing阶段优化：进行数据累加操作，并将结果传输到对应的文件中。

          优化点：1.手动规定reduce的个数

                     set mapred.reduce.tasks = 20;

          2.规定reduce同时并行的个数（例子：任务中有100个reduce，但是可以使reduce分批执行一批10个）

                     set mapreduce.job.running.reduce.limit=80;

          3.限制reduce可使用的最大内存

                     set mapreduce.reduce.memory.mb=7168;(7G内存)    默认2.1倍会杀掉

          4.设置每个reduce可处理的数据大小（直接决定reduce个数）

                     set hive.exec.reducers.bytes.per.reducer=1024*1000*1000;

          5.reduce最大个数

                     set hive.exec.reducers.max =2000;(mapreduce.job.running.reduce.limit变相使用)

          6.reduce后可进行文件合并

                     set hive.merge.sparkfiles = false（spark引擎，结束后合并文件，新启动一个任务）
                     set hive.merge.tezfiles = false（tez引擎，结束后合并文件，新启动一个任务）
                     set hive.merge.mapredfiles = true（mapreduce引擎，结束后合并文件，新启动一个任务）
                     set hive.merge.smallfiles.avgsize =100*1000*1000 （输出文件小于当前值的时候，任务结束后合并文件的大小）
                     set hive.merge.size.per.task = 1024*1000*1000 （将文件合并成为多大）

finalresult阶段优化：其实就是写文件的过程。

          优化点：1.reduce后要进行压缩写到HDFS（每个节点单独跑任务，但是最后的结果需要汇聚到一处）

                     set mapreduce.output.fileoutputformat.compress=false // 默认值是 false reduce属性
                     set mapreduce.output.fileoutputformat.compress.type=BLOCK // 默认值是 Record reduce属性
                     set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.GzipCodec // 默认值是 org.apache.hadoop.io.compress.DefaultCodec

其他优化：

          JVM优化：一个JVM运行的job数是有上限的，我们可以设置最大执行的个数

                     set mapreduce.job.jvm.numtasks=100

          并发及并发线程数优化：job的子查询可能没关系，所以可以开启并发查询

                     set hive.exec.parallel = true; 
                     set hive.exec.parallel.thread.number=8;

          数据倾斜优化：可进行key值个数的判断，判断时候发生数据倾斜

                     set hive.optimize.skewjoin=true;
                     set hive.skewjoin.key=100000;（超过10000个相同的key就认为是数据倾斜，需要进行打散处理）

          分区优化：hive有桶表和分区表，可开启动态分区（其实就是不同文件夹） 

                     set hive.exec.dynamic.partition=true
                     set hive.exec.dynamic.partition.mode=nonstrict（分区表分为严格模式和非严格模式）

          job之间优化：

                     set hive.exec.compress.output=true;（最终结果压缩。若map压缩和reduce压缩都没有用，改参数使用的话。两个job第一个job后数据不压缩，第二个job输出压缩）
                     set hive.exec.compress.intermediate=true（若map压缩reduce压缩最终输出压缩都没有用，改参数使用的话。两个job第一个job后数据压缩，第二个job输出不压缩）                          SQL优化：

        小表往前放

三：常用hive参数优化

四：hivesql内存计算过程，mapreduce确定及常用UI端口

hive小文件处理

标签：base   sql   聚合   memory   hba   jvm优化   nod   名称   image   

原文地址：https://www.cnblogs.com/xiaoliyuguohe/p/13823753.html