从Physical plan到Map-Reduce Plan
注：因为我们重点关注的是Pig On Spark针对RDD的执行计划，所以Pig物理执行计划之后的后端参考意义不大，这些部分主要分析流程，忽略实现细节。
入口类MRCompiler，MRCompilier按照拓扑顺序遍历物理执行计划中的节点，将其转换为MROperator，每个MROperator都代表一个map-reduce
j...
分类：
其他好文 时间：
2014-05-10 08:46:07
阅读次数：
366
Akka 是一个用 Scala 编写的库，用于简化编写容错的、高可伸缩性的 Java 和 Scala
的 Actor 模型应用。Actor模型并非什么新鲜事物，它由Carl
Hewitt于上世纪70年代早期提出，目的是为了解决分布式编程中一系列的编程问题。其特点如下：系统中的所有事物都可以扮演一个A...
分类：
其他好文 时间：
2014-05-08 12:32:32
阅读次数：
392
本文通过跟代码的方式，分析从输入一批Pig-latin到输出物理执行计划（与launcher引擎有关，一般是MR执行计划，也可以是Spark RDD的执行算子）的整体流程。
不会具体涉及AST如何解析、如何使用了Anltr、逻辑执行计划如何映射、逻辑执行计划如何优化、MR执行计划如何切分为MR Job，而是从输入一批Pig DSL到待执行的真正执行计划的关键变化步骤（方法和类）。...
分类：
其他好文 时间：
2014-05-08 04:00:42
阅读次数：
407
关于微信公众平台确实是个很好的东西，鉴于需要完成这样一个作业花了2天时间来研究这个，做出了一个简单的东西。
我们选择的语言是JAVA（当然PHP开发这个更简单，不过我没学，考虑时间成本而继续用自己熟悉的），所用的服务器是SAE（BAE也可以），以及一个微信公众平台测试账号。http://mp.weixin.qq.com/debug/cgi-bin/sandbox?t=san...
分类：
微信 时间：
2014-05-07 21:39:24
阅读次数：
724
本文是Pig系统分析系列中的最后一篇了，主要讨论如何扩展Pig功能，不仅介绍Pig本身提供的UDFs扩展机制，还从架构上探讨Pig扩展可能性。
补充说明：前两天同事发现twitter推动的Pig On Spark项目：Spork，准备研究下。
UDFs
通过UDFs（用户自定义函数），可以自定义数据处理方法，扩展Pig功能。实际上，UDFS除了使用之前需要register/define外，和...
分类：
其他好文 时间：
2014-05-07 05:10:44
阅读次数：
567
此文意在整理二分图的各种变形。
HDU 1068 Girls and Boys
最基础的二分图匹配问题，简单的求最大匹配数。
HDU 1150 Machine Schedule
无向图 最小点集覆盖 = 最大匹配。
把作业看成边，把机器看成点。
无向图的最小点集覆盖是指存点集K，使得图中的所有边都与K中的某些点相连 ，且去除K任意一点就不再满足前述条件。
HD...
分类：
其他好文 时间：
2014-05-06 23:13:26
阅读次数：
348
AD620 芯片93 dB min Common-Mode Rejection Ratio
(G = 10) 0.28 mV p-p Noise (0.1 Hz to 10 Hz) THEORY OF OPERATIONThe AD620 is a
monolithic instrumentatio...
分类：
其他好文 时间：
2014-05-06 14:30:28
阅读次数：
263
最近我计算机网络课程要做作业了，没办法跟着老师一步一步的写C语言的代码，使用的计算就是Socket通信发送消息；代码实现的功能很简单，客户端向服务器端发送消息，服务器端接收客户端发来的消息，并且输出显示到屏幕上；代码中的每个方法的返回值都应该做判断出错情况，以保证程序的稳定性，这里只是测试代码。老师...
分类：
编程语言 时间：
2014-05-06 13:33:23
阅读次数：
342
