导读:计算机科学是算法与算法变换的科学,算法是计算机科学的基石。任何一个计算问题的分析与建模,几乎都可以归为算法问题。MapReduce算法模型是由Google公司针对大规模群组中的海量数据处理而提出的分布编程模型,主要应用于大规模数据集{大于1TB}的分布并行运算。在MapReduce模型中的Map{映射}和Reduce{化简}创意来自函数型编程语言,同是也继承了向量型编程语言的特性。MapRe
分类:
其他好文 时间:
2018-06-15 17:10:45
阅读次数:
211
一、搬砖 vs. 分布式计算 一个人搬砖很累,几个人一起搬就会轻松很多,也会快很多: 分布并行计算和几个人一起搬砖的意思是一致的,一个资源密集型的任务(搬砖或计算),需要 一组资源(小伙伴或计算节点),并行...
分类:
Web程序 时间:
2015-09-28 11:56:48
阅读次数:
300
详细内容参照Spark官网:http://spark.apache.org/
Spark相关项目:
Spark SQL 、Spark Streaming 、Machine Learning 、GraphX
1、Spark SQL :用Spark编写的混合SQL查询,能在分布式数据集中查询结构化数据,使得复杂分析算法的查询更容易。
2、Spark Streaming :Spark Strea...
分类:
其他好文 时间:
2015-07-14 11:35:22
阅读次数:
257