从Physical plan到Map-Reduce Plan
注:因为我们重点关注的是Pig On Spark针对RDD的执行计划,所以Pig物理执行计划之后的后端参考意义不大,这些部分主要分析流程,忽略实现细节。
入口类MRCompiler,MRCompilier按照拓扑顺序遍历物理执行计划中的节点,将其转换为MROperator,每个MROperator都代表一个map-reduce
j...
分类:
其他好文 时间:
2014-05-10 08:46:07
阅读次数:
366
Explain
Explain是Pig提供的调试工具,使用explain可以输出Pig Lation的执行计划。值得一提的是,explain支持-dot选项,将执行计划以DOT格式输出, (DOT是一种图形描述语言,请参考http://zh.wikipedia.org/zh/DOT%E8%AF%AD%E8%A8%80)
代码实现详见org.apache.pig.impl.plan.DotPla...
分类:
其他好文 时间:
2014-05-07 06:03:35
阅读次数:
350
凡事预则立,不预则废,和许多事情一样,Java性能调优的成功,离不开行动计划、方法或策略以及特定的领域背景知识。为了在Java性能调优工作中有所成就,你得超越“花似雾中看”的状态,进入“悠然见南山”或者已然是“一览众山小”的境界。...
分类:
编程语言 时间:
2014-05-07 02:57:34
阅读次数:
532
我的Sprint2冲刺——日历表的事件处理和管理(刘铸辉,刘静)
我的Sprint2冲刺计划领到的任务是和刘铸辉结对编程,完成日历表的事件处理和管理,下面详细讲解下技术细节。1.设计结构图首先要画出整个UI设计图,方便理解这个日历布局和日历样式的绘制。
这里总共分解为两个 View 文件:1:cal...
分类:
其他好文 时间:
2014-05-07 01:44:33
阅读次数:
564
select * from table where id =
?类似于上面这样的sql,如果不用绑定变量,每次执行时Oracle会认为是不同的sql,会在每次执行时生成一遍执行计划,而执行计划的生成是非常耗CPU,试想一下,如果1000个并发都在执行这条语句,等于同时在生成1000个执行计划。如果使...
分类:
数据库 时间:
2014-05-07 00:58:05
阅读次数:
418
2014-05-06 17:34 吴文付最近由于工作上的需要,遇到进制转换的问题。涉及到的进制主要是
十进制,十六进制,二进制中间的转换。这里整理一下。具体的计划为:封装一个转换类,一个测试类。1、十进制 转 十六进制:2、十进制 转 二进制3、十六进制 转
十进制:4、十六进制 转 二进制:5、二...
分类:
编程语言 时间:
2014-05-06 17:57:53
阅读次数:
296
在做手游运维工作之前,我接触的代码发布都是常规的软件发布,有固定的发布周期。之前工作的那个外企有严格的发布周期,一年中的所有发布计划都是由ReleaseManager来控制,每次发布之前都需要做一些准备工作,如填写发布表单,上传发布需要的资源文件,联系发布过程中的相关人..
分类:
其他好文 时间:
2014-05-06 16:01:14
阅读次数:
976
茫茫天涯沦落人,金戈铁马踏英魂。尔履世间沟渠壑,风花雪月悟凡尘。四月份,在我的生活上是奔波的一月,繁忙的一月,同时也是为新生活起铺垫作用的一月。而在职场上,四月则是我入职后的满月期,是加入新团队第一季度的过渡铺垫期。总的来说,四月是一个具有里程碑意义的岁月..
分类:
其他好文 时间:
2014-05-06 15:54:25
阅读次数:
229
一1、配置YUM源(自己手写,要精确到GPGK。。。。)Name=写名字中间最好有个空格不会手写yum源,查看MAN帮助:manyum.conf若YUM起不来,可去掉gpg~~或添加gpg~~~二1、调整逻辑卷减小逻辑卷:逻辑卷始终大于文件系统大小三1、创建用户账户:chage–d0natasha指定用户下次登录修?.
分类:
其他好文 时间:
2014-05-06 15:44:56
阅读次数:
528
时间:5月5日晚上9点地点:信息学院楼组员5月5日今日完成任务5月6日明天计划任务杨波编写ClassTab类,ClassDAO,DDSqlitelfelper类;调试三个类编译成功;周亚豪按钮出现对话框,实现查询选择;找出现在存在的Bug并改进;崔海营调试数据库的连接功能,初步显示信息;协助帮忙编程...
分类:
其他好文 时间:
2014-05-06 14:38:31
阅读次数:
342