链接：http://poj.org/problem?id=1789 或 http://acm.zju.edu.cn/onlinejudge/showProblem.do?problemId=1158
Description
Advanced Cargo Movement, Ltd. uses trucks of different types. Some trucks are use...
分类：
其他好文 时间：
2014-05-10 09:39:59
阅读次数：
440
从Physical plan到Map-Reduce Plan
注：因为我们重点关注的是Pig On Spark针对RDD的执行计划，所以Pig物理执行计划之后的后端参考意义不大，这些部分主要分析流程，忽略实现细节。
入口类MRCompiler，MRCompilier按照拓扑顺序遍历物理执行计划中的节点，将其转换为MROperator，每个MROperator都代表一个map-reduce
j...
分类：
其他好文 时间：
2014-05-10 08:46:07
阅读次数：
366
git revert 撤销
某次操作，此次操作之前和之后的commit和history都会保留，并且把这次撤销作为一次最新的提交 * git revert HEAD 撤销前一次
commit * git revert HEAD^ 撤销前前一次 commit * git revert commit （...
分类：
其他好文 时间：
2014-05-07 18:30:02
阅读次数：
584
讲解了浏览器中的JavaScript的重要组成部分BOM（浏览器对象模型），包括window对象以及它的重要属性location、navigator、history等内容...
分类：
编程语言 时间：
2014-05-07 12:10:25
阅读次数：
321
1.shell介于操作系统与用户之间，负责解释命令行
2./etc/shells 记录了系统支持的有效登录的shell
3./etc/passwd 最后一位可以看到用户默认的shell
4.直接输入shell的名称 可以切换shell
5.shell命令的记录可以用history查看 history -c 清除
历史命令存放在.bash_history文件中
...
分类：
其他好文 时间：
2014-05-07 05:11:21
阅读次数：
244
本文是Pig系统分析系列中的最后一篇了，主要讨论如何扩展Pig功能，不仅介绍Pig本身提供的UDFs扩展机制，还从架构上探讨Pig扩展可能性。
补充说明：前两天同事发现twitter推动的Pig On Spark项目：Spork，准备研究下。
UDFs
通过UDFs（用户自定义函数），可以自定义数据处理方法，扩展Pig功能。实际上，UDFS除了使用之前需要register/define外，和...
分类：
其他好文 时间：
2014-05-07 05:10:44
阅读次数：
567
从WordCount开始分析
编写一个例子程序
编写一个从HDFS中读取并计算wordcount的例子程序:
packageorg.apache.spark.examples
importorg.apache.spark.SparkContext
importorg.apache.spark.SparkContext._
objectWordCount{
defm...
分类：
其他好文 时间：
2014-05-05 13:10:34
阅读次数：
463
Spark中的Scheduler
scheduler分成两个类型，一个是TaskScheduler与其实现，一个是DAGScheduler。
TaskScheduler:主要负责各stage中传入的task的执行与调度。
DAGScheduler:主要负责对JOB中的各种依赖进行解析，根据RDD的依赖生成stage并通知TaskScheduler执行。
实例生成
TaskSchedule...
分类：
其他好文 时间：
2014-05-04 09:08:02
阅读次数：
379
这是一篇分享技巧的文章：myeclipse恢复误删文件和代码
[ 恢复误删文件 ]
今天在写代码的时候，不小心把一个包给删除了，然后这个包下所有的文件都没了，相信很多人都有类似的经历，
幸好myeclipse给我们提供了一个很好用的功能：
选中项目 -> Restore from Local History.. -> 界面如下图
勾选要恢复的文件，点击Restore就可以了，就算...
分类：
系统相关 时间：
2014-05-04 00:25:53
阅读次数：
515
RDD的依赖关系
Rdd之间的依赖关系通过rdd中的getDependencies来进行表示，
在提交job后，会通过在DAGShuduler.submitStage-->getMissingParentStages
privatedefgetMissingParentStages(stage:
Stage): List[Stage] = {
valmissing
=newHash...
分类：
其他好文 时间：
2014-05-03 15:56:22
阅读次数：
282
