从Physical plan到Map-Reduce Plan
注：因为我们重点关注的是Pig On Spark针对RDD的执行计划，所以Pig物理执行计划之后的后端参考意义不大，这些部分主要分析流程，忽略实现细节。
入口类MRCompiler，MRCompilier按照拓扑顺序遍历物理执行计划中的节点，将其转换为MROperator，每个MROperator都代表一个map-reduce
j...
分类：
其他好文 时间：
2014-05-10 08:46:07
阅读次数：
366
一、对于服务器端的搭建可以参考上一篇文章：kafka单机版环境搭建与测试
服务器端IP ：10.0.30.221
运行环境的目录如下：
需要改动config文件夹下的server.properties中的以下两个属性
zookeeper.connect=localhost:2181改成zookeeper.connect=10.0.30.221:2181
以及默认注释掉的
#host...
V$SQL_PLAN视图提供了一种方法，可用于检查仍位于库高速缓存的游标的执行计划。此视图中的信息与
PLAN_TABLE 视图中的信息非常类似。但是，EXPLAIN PLAN 显示的是执行相应语句时可以使用的理论,而V$SQL_PLAN
包含实际使用的计划。通过 EXPLAIN PLAN 语句获取...
分类：
数据库 时间：
2014-05-07 09:37:32
阅读次数：
457
本文是Pig系统分析系列中的最后一篇了，主要讨论如何扩展Pig功能，不仅介绍Pig本身提供的UDFs扩展机制，还从架构上探讨Pig扩展可能性。
补充说明：前两天同事发现twitter推动的Pig On Spark项目：Spork，准备研究下。
UDFs
通过UDFs（用户自定义函数），可以自定义数据处理方法，扩展Pig功能。实际上，UDFS除了使用之前需要register/define外，和...
分类：
其他好文 时间：
2014-05-07 05:10:44
阅读次数：
567
搞点多维分析，糙快猛的解决方案就是使用ROLAP（关系型OLAP）了。数据经维度建模后存储在MySQL，ROLAP引擎（比如开源的Mondrian）负责将OLAP请求转化为SQL语句提交给数据库。OLAP计算分析功能导致MySQL需要进行较多复杂SQL查询，性能调优必不可少，本文总结了一些实用原则。
OLAP特点
OLAP的典型应用包括复杂动态报表，需要支持钻取（上卷和下钻）、切片、切块和旋转...
分类：
数据库 时间：
2014-05-07 03:19:42
阅读次数：
580
1.
参考http://blog.csdn.net/foxisme2/article/details/7521139http://blog.csdn.net/foxisme2/article/details/7528148其中生成测试报告的
命令 由于我本机tsung 的安装路径和上面资料的不同 需...
分类：
其他好文 时间：
2014-05-04 19:20:34
阅读次数：
570
调优数据库连接池
建立与DBMS的JDBC连接过程可能是相当缓慢的。如果您的应用程序需要反复打开和关闭数据库连接，这可以成为一个显著的性能问题。在JBoss AS中数据源的连接池提供了一种有效的解决该问题的方法。
要强调的是，当客户端关闭一个数据源的连接时，该连接返回到池中，这样可用于其它的客户端，因此，连接本身并没有关闭。打开和关闭池管理的连接的成本可以以纳秒来衡量，所以它对性能的影响无...
分类：
其他好文 时间：
2014-05-04 09:27:25
阅读次数：
217
Spark中的Scheduler
scheduler分成两个类型，一个是TaskScheduler与其实现，一个是DAGScheduler。
TaskScheduler:主要负责各stage中传入的task的执行与调度。
DAGScheduler:主要负责对JOB中的各种依赖进行解析，根据RDD的依赖生成stage并通知TaskScheduler执行。
实例生成
TaskSchedule...
分类：
其他好文 时间：
2014-05-04 09:08:02
阅读次数：
379
Erlang核心开发者Lukas Larsson在2014年3月份Erlang
Factory上一个演讲的听写稿，详细介绍了Erlang内存体系的原理以及调优案例。
分类：
其他好文 时间：
2014-05-03 23:40:47
阅读次数：
383
缘起
线上有Tomcat升级到7.0.52版，然后有应用的JVM FullGC变频繁，在高峰期socket连接数，Cpu使用率都暴增。
思路
思路是Tomcat本身的代码应该是没有问题的，有问题的可能是应用代码升级，或者环境改变了，总之Tomcat的优先级排在最后。
先把应用的heap dump下来分析下：
jmap -dump:format=b,file=path pid
用IB...
分类：
其他好文 时间：
2014-05-03 21:42:36
阅读次数：
382
