https://github.com/Roemer/NetDist A Gearman powered application consists of three parts: a client, a worker, and a job server ...
分类：
其他好文 时间：
2019-02-15 13:35:32
阅读次数：
152
由阿里巴巴统一大数据计算平台MaxCompute研发团队，历经1年多研发，打破大数据、科学计算领域边界，完成第一个版本并开源。 Mars，一个基于张量的统一分布式计算框架。使用 Mars 进行科学计算，不仅使得完成大规模科学计算任务从MapReduce实现上千行代码降低到Mars数行代码，更在性能上有大幅提升。
分类：
其他好文 时间：
2019-01-21 17:11:04
阅读次数：
228
https://blog.csdn.net/u010697988/article/details/70173104 大数据的分布式计算框架目前使用的最多的就是hadoop的mapReduce和Spark，mapReducehe和Spark之间的最大区别是前者较偏向于离线处理，而后者重视实现性，下面主 ...
分类：
其他好文 时间：
2019-01-12 15:26:19
阅读次数：
148
实验目标 搭建一个Hadoop系统，包含分布式文件系统HDFS、分布式计算框架MapReduce。 实验原理 Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式：应用程序被分割成许多小部分，而每个部分都能在集群中的任意节点上运行或重新运行。此外，Hadoop还 ...
分类：
其他好文 时间：
2019-01-12 10:31:40
阅读次数：
211
Hadoop： 数据存储模块 数据计算模块 doug cutting //hadoop之父 //分布式文件系统GFS，可用于处理海量网页的存储 //分布式计算框架MAP REDUCE，可用于处理海量网页的索引计算问题 hadoop: GFS > NDFS（Nutch distributed file ...
分类：
其他好文 时间：
2019-01-08 21:00:21
阅读次数：
221
Apache Spark是一个分布式计算框架，旨在简化运行于计算机集群上的并行程序的编写。 RDD：弹性分布式数据集(Resilient Distributed Dataset)是分布式内存的一个抽象概念，提供了一个高度受限的共享内存模型。一个RDD包含多个分区(Partition)。 DAG：有向 ...
分类：
其他好文 时间：
2018-12-02 19:17:45
阅读次数：
209
一背景Spark是2010年由UCBerkeleyAMPLab开源的一款基于内存的分布式计算框架，2013年被Apache基金会接管，是当前大数据领域最为活跃的开源项目之一Spark在MapReduce计算框架的基础上，支持计算对象数据可以直接缓存到内存中，大大提高了整体计算效率。特别适合于数据挖掘与机器学习等需要反复迭代计算的场景。二特性高效：Spark提供Cache机制，支持需要反复迭代的计算
分类：
其他好文 时间：
2018-11-15 12:03:46
阅读次数：
205
大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维——计算模式的转变。
分类：
其他好文 时间：
2018-11-10 12:49:48
阅读次数：
180
Apache YARN(Yet Another Resource Negotiator)是一个Hadoop集群资源管理系统。YARN是在Hadoop 2引入的，用以改善MapReduce的表现。但是它也足够胜任其它的分布式计算框架。 YARN提供了一些能被请求调用的APIs，并处理集群资源。但是通常 ...
分类：
其他好文 时间：
2018-11-08 13:44:40
阅读次数：
152
解决方案：一直以来，基于Akka实现的RPC通信框架是Spark引以为豪的主要特性，也是与Hadoop等分布式计算框架对比过程中一大亮点。 但是时代和技术都在演化，从Spark1.3.1版本开始，为了解决大块数据（如Shuffle）的传输问题，Spark引入了Netty通信框架，到了1.6.0版本， ...
分类：
Web程序 时间：
2018-09-27 20:11:29
阅读次数：
259
