● 系统环境说明 Linux环境：centos7.4 EMR：3.0.0 Java：1.8.0_112 ● 集群配置 机器数量：50 内存：128G 硬盘：100T CPU核心数：32C 问题 SQL中使用了LEFT JOIN，在执行过程中遇到以下报错： java.lang.RuntimeExcep ...
分类：
其他好文 时间：
2020-07-17 01:24:45
阅读次数：
119
CommonJoin和MapJoin区别 CommonJoin即传统思路实现Join，性能较差 因为涉及到了shuffle的过程 Common join/shuffle join/reduce join (都是指同一个) MapJoin 也叫作 boardcast join，但是MapJoin不会有 ...
分类：
其他好文 时间：
2020-04-15 13:56:14
阅读次数：
73
hive 优化 1、需要计算的指标真的需要从数据仓库的公共明细自行汇总吗？2、真的需要扫描那么多的分区么？3、尽量不要使用 select * from table这样的方式4、输入文件不要是大量的小文件 group by引起的倾斜优化: R:group by引起的倾斜主要是输入数据行按照group ...
分类：
数据库 时间：
2020-03-25 19:41:04
阅读次数：
90
https://www.cnblogs.com/raymoc/p/5323824.html 大表对小表应该使用MapJoin ,set hive.auto.convert.join=true;让hive自动识别，把join变成合适的Map Join 大表对大表 set hive.auto.conve ...
分类：
其他好文 时间：
2020-02-23 20:24:57
阅读次数：
64
1、MapJoin 如果不指定 MapJoin 或者不符合 MapJoin 的条件，那么 Hive 解析器会将 Join 操作转换成 Common Join，即：在 Reduce 阶段完成 join。容易发生数据倾斜。可以用 MapJoin 把小表全部加载到内存在 map 端进行 join，避免 r ...
分类：
其他好文 时间：
2020-02-22 21:29:41
阅读次数：
63
大表和小表关联查询可以采用mapjoin优化查询速度。那什么是mapjoin呢？理解MapJoin之前先介绍另一种Join方式，CommonJoin。我们知道Hive编写SQL语句，Hive会将SQL解析成MapReduce任务。对于一个简单的关联查询，CommonJoin任务设计Map阶段和Red ...
分类：
其他好文 时间：
2019-12-11 21:07:29
阅读次数：
171
1）MapJoin如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join，即：在Reduce阶段完成join。容易发生数据倾斜。可以用MapJoin把小表全部加载到内存在map端进行join，避免reducer处理。 2）行列过滤列处理 ...
分类：
其他好文 时间：
2019-11-20 22:04:02
阅读次数：
119
一、mapjoin1、适用场景：一张表很大，一张表很小2、解决方案：在map端缓存多张表，提前处理业务逻辑，这样增加map端业务，减少reduce端的数据压力，尽可能减少数据倾斜。3、具体方法：采用分布式缓存（1）在mapper的setup阶段，将文件读取到缓存集合中（2）在driver中加载缓存，job.addCacheFile(newURI("file:/e:/mapjoincach
分类：
其他好文 时间：
2019-10-25 09:18:03
阅读次数：
61
第一节：hive的产生背景 mapreduce处理的绝大多数的数据，都是格式化的数据。格式化的数据的处理sql最擅长。mapjoin reducejoin的开发代码要写40行，而sql就一个sql语句就可以了，例如：select * from a join b on a.id=b.id;。 mapr ...
分类：
其他好文 时间：
2019-06-17 01:07:49
阅读次数：
119
https://www.cnblogs.com/MOBIN/p/5702580.html ...
分类：
其他好文 时间：
2019-06-11 19:11:08
阅读次数：
181
