a. 由于MapReduce的shuffle过程需写磁盘，比较影响性能；而Spark利用RDD技术，计算在内存中进行.b. MapReduce计算框架(API)比较局限, 而Spark则是具备灵活性的并行计算框架.c. 再说说Spark API方面- Scala: Scalable Language...
分类：
其他好文 时间：
2015-05-21 18:50:09
阅读次数：
169
JobTracker是整个MapReduce计算框架中的主服务，相当于集群的“管理者”，负责整个集群的作业控制和资源管理。本文对JobTracker的启动过程及心跳接收与应答两个主要功能进行分析。1JobTracker启动过程1.1各种线程功能函数offerService()会启动JobTracke...
分类：
其他好文 时间：
2014-12-06 13:58:21
阅读次数：
290
