从Physical plan到Map-Reduce Plan
注：因为我们重点关注的是Pig On Spark针对RDD的执行计划，所以Pig物理执行计划之后的后端参考意义不大，这些部分主要分析流程，忽略实现细节。
入口类MRCompiler，MRCompilier按照拓扑顺序遍历物理执行计划中的节点，将其转换为MROperator，每个MROperator都代表一个map-reduce
j...
分类：
其他好文 时间：
2014-05-10 08:46:07
阅读次数：
366
【原题】
1096: [ZJOI2007]仓库建设
Time Limit: 10 Sec Memory Limit: 162 MB
Submit: 1998 Solved: 816
[Submit][Status]
Description
L公司有N个工厂，由高到底分布在一座山上。如图所示，工厂1在山顶，工厂N在山脚。 由于这座山处于高原内陆地区（干燥少雨），L公司一般...
分类：
其他好文 时间：
2014-05-07 06:54:45
阅读次数：
374
Problem A: Random PermutationsTime Limit: 1
SecMemory Limit: 128 MB Submit: 91Solved: 54Description随机排列生成算法
（运行a.exe输出数字的个数，运行a.exe test时输出为一次随机的排列）In...
分类：
其他好文 时间：
2014-05-05 23:03:04
阅读次数：
341
从WordCount开始分析
编写一个例子程序
编写一个从HDFS中读取并计算wordcount的例子程序:
packageorg.apache.spark.examples
importorg.apache.spark.SparkContext
importorg.apache.spark.SparkContext._
objectWordCount{
defm...
分类：
其他好文 时间：
2014-05-05 13:10:34
阅读次数：
463
【原题】
2326: [HNOI2011]数学作业
Time Limit: 10 Sec Memory Limit: 128 MB
Submit: 853 Solved: 473
[Submit][Status]
Description
【分析】我们按数字的位数来划分。对于K位数，我们就可以专门设计一个矩阵来计算。
然后就是注意细节了。
【代...
分类：
其他好文 时间：
2014-05-04 18:45:26
阅读次数：
342
【原题】
1297: [SCOI2009]迷路
Time Limit: 10 Sec Memory Limit: 162 MB
Submit: 539 Solved: 367
[Submit][Status]
Description
windy在有向图中迷路了。 该有向图有 N 个节点，windy从节点 0 出发，他必须恰好在 T 时刻到达节点 N-1。 现在给出该有向...
分类：
其他好文 时间：
2014-05-04 18:40:38
阅读次数：
306
【原题】
1898: [Zjoi2004]Swamp 沼泽鳄鱼
Time Limit: 5 Sec Memory Limit: 64 MB
Submit: 425 Solved: 256
[Submit][Status]
Description
潘塔纳尔沼泽地号称世界上最大的一块湿地，它地位于巴西中部马托格罗索州的南部地区。每当雨季来临，这里碧波荡漾、生机盎然，引来不少...
分类：
其他好文 时间：
2014-05-04 18:20:44
阅读次数：
350
【原题】
1706: [usaco2007 Nov]relays 奶牛接力跑
Time Limit: 5 Sec Memory Limit: 64 MB
Submit: 340 Solved: 162
[Submit][Status]
Description
FJ的N(2 <= N <= 1,000,000)头奶牛选择了接力跑作为她们的日常锻炼项目。至于进行接力跑的地点...
分类：
其他好文 时间：
2014-05-04 18:02:19
阅读次数：
381
Spark中的Scheduler
scheduler分成两个类型，一个是TaskScheduler与其实现，一个是DAGScheduler。
TaskScheduler:主要负责各stage中传入的task的执行与调度。
DAGScheduler:主要负责对JOB中的各种依赖进行解析，根据RDD的依赖生成stage并通知TaskScheduler执行。
实例生成
TaskSchedule...
分类：
其他好文 时间：
2014-05-04 09:08:02
阅读次数：
379
RDD的依赖关系
Rdd之间的依赖关系通过rdd中的getDependencies来进行表示，
在提交job后，会通过在DAGShuduler.submitStage-->getMissingParentStages
privatedefgetMissingParentStages(stage:
Stage): List[Stage] = {
valmissing
=newHash...
分类：
其他好文 时间：
2014-05-03 15:56:22
阅读次数：
282
