码迷,mamicode.com
首页 > 其他好文 > 详细

Hive Compiler过程

时间:2017-08-27 13:34:21      阅读:266      评论:0      收藏:0      [点我收藏+]

标签:字符   pad   es2017   logs   get   ica   http   clear   技术分享   

技术分享

  通过Parser将HiveQL转换成AST,通过Semantic Analyzer将AST转换为QB,通过Logical Plan Generator将QB转换成Operator Tree,通过Logical Optimizer对Operator Tree进行优化,通过Physical Plan Generator将Operator Tree转换为Tast Tree,最后通过Physical Optimizer对Task Tree进行优化

1、Parser:将HiveQL字符串转换为Parse Tree的形式

2、Semantic Analyzer:将Parse Tree转换为查询块QB,并填充元数据

3、Logical Plan Generator:转换成一系列的逻辑执行计划,也就是逻辑操作符构成的树 Operator Tree

4、Logical Optimizer:执行一些特定的优化算法并改写Operator Tree

5、Physical Plan Generator:将逻辑执行计划切分、改写成为物理执行计划(如M\R、Tez作业)

6、Physical Optimizer:优化物理执行计划,如Auto Map Join

 

如果,您认为阅读这篇博客让您有些收获,不妨点击一下右下角的【推荐】。
如果,您希望更容易地发现我的新博客,不妨点击一下左下角的【关注我】。
如果,您对我的博客所讲述的内容有兴趣,请继续关注我的后续博客,我是【刘超★ljc】。

本文版权归作者,禁止转载,否则保留追究法律责任的权利。

Hive Compiler过程

标签:字符   pad   es2017   logs   get   ica   http   clear   技术分享   

原文地址:http://www.cnblogs.com/codeOfLife/p/7440023.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!