从Physical plan到Map-Reduce Plan
注:因为我们重点关注的是Pig On Spark针对RDD的执行计划,所以Pig物理执行计划之后的后端参考意义不大,这些部分主要分析流程,忽略实现细节。
入口类MRCompiler,MRCompilier按照拓扑顺序遍历物理执行计划中的节点,将其转换为MROperator,每个MROperator都代表一个map-reduce
j...
分类:
其他好文 时间:
2014-05-10 08:46:07
阅读次数:
366
本文通过跟代码的方式,分析从输入一批Pig-latin到输出物理执行计划(与launcher引擎有关,一般是MR执行计划,也可以是Spark RDD的执行算子)的整体流程。
不会具体涉及AST如何解析、如何使用了Anltr、逻辑执行计划如何映射、逻辑执行计划如何优化、MR执行计划如何切分为MR Job,而是从输入一批Pig DSL到待执行的真正执行计划的关键变化步骤(方法和类)。...
分类:
其他好文 时间:
2014-05-08 04:00:42
阅读次数:
407
V$SQL_PLAN视图提供了一种方法,可用于检查仍位于库高速缓存的游标的执行计划。此视图中的信息与
PLAN_TABLE 视图中的信息非常类似。但是,EXPLAIN PLAN 显示的是执行相应语句时可以使用的理论,而V$SQL_PLAN
包含实际使用的计划。通过 EXPLAIN PLAN 语句获取...
分类:
数据库 时间:
2014-05-07 09:37:32
阅读次数:
457
Explain
Explain是Pig提供的调试工具,使用explain可以输出Pig Lation的执行计划。值得一提的是,explain支持-dot选项,将执行计划以DOT格式输出, (DOT是一种图形描述语言,请参考http://zh.wikipedia.org/zh/DOT%E8%AF%AD%E8%A8%80)
代码实现详见org.apache.pig.impl.plan.DotPla...
分类:
其他好文 时间:
2014-05-07 06:03:35
阅读次数:
350
select * from table where id =
?类似于上面这样的sql,如果不用绑定变量,每次执行时Oracle会认为是不同的sql,会在每次执行时生成一遍执行计划,而执行计划的生成是非常耗CPU,试想一下,如果1000个并发都在执行这条语句,等于同时在生成1000个执行计划。如果使...
分类:
数据库 时间:
2014-05-07 00:58:05
阅读次数:
418
2.2MySQL Server 系统架构总的来说,MySQL
可以看成是二层架构,第一层我们通常叫做SQL Layer,在MySQL 数据库系统处理底层数据之前的所有工作都是在这一层完成的,包括权限判断,sql
解析,执行计划优化,query cache 的处理等等;第二层就是存储引擎层,我们通常叫...
分类:
数据库 时间:
2014-05-03 22:43:14
阅读次数:
491
本文主要讨论MySQL的执行计划分析,并给出相应的示例,MySQL的执行计划分析在实际工作中也是非常重要的,SQL
SERVER可以通过“显示估计的执行计划”来查看sql的执行计划,而MySQL则是通过explain +
查询语句来查看其执行计划,找出其索引使用情况,执行顺序等等,从而进行优化,使查...
分类:
数据库 时间:
2014-04-30 21:29:11
阅读次数:
603
原文:MySQL学习系列2--MySQL执行计划分析EXPLAIN1.Explain语法
EXPLAIN SELECT …… 变体: EXPLAIN EXTENDED SELECT …… 将执行计划“反编译”成SELECT语句,运行SHOW
WARNINGS 可得到被MySQL优化器优化后的查询语句...
分类:
数据库 时间:
2014-04-30 18:39:02
阅读次数:
516
稳定执行计划 1 策略: Oracle的sql
执行计划在一些场景下会发生变化,导致系统会发生不可知的情况,影响系统的稳定性,特别是关键业务的sql。比如下面的场景:
统计信息过老,重新收集了统计信息。为表添加了新的分区,删除分区。而oracle提供的稳定执行计划的策略也大致有:存储纲要(sto.....
分类:
数据库 时间:
2014-04-28 02:58:22
阅读次数:
678