什么是Spark
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的ma...
分类：
其他好文 时间：
2015-07-25 09:29:52
阅读次数：
140
1背景介绍现今分布式计算框架像MapReduce和Dryad都提供了高层次的原语，使用户不用操心任务分发和错误容忍，非常容易地编写出并行计算程序。然而这些框架都缺乏对分布式内存的抽象和支持，使其在某些应用场景下不够高效和强大。RDD(Resilient Distributed Datasets弹性分...
分类：
其他好文 时间：
2015-07-15 12:43:05
阅读次数：
164
Mapreduce初析 Mapreduce是一个计算框架，既然是做计算的框架，那么表现形式就是有个输入（input），mapreduce操作这个输入（input），通过本身定义好的计算模型，得到一个输出（output），这个输出就是我们所需要的结果。 我们要学习的就是这个计算模型的运行规则。在...
分类：
其他好文 时间：
2015-07-14 15:09:19
阅读次数：
184
Hadoop：
Hadoop在使用原理上基本上遵照了Map、Reduce这样的一种模式进行项目的实际开发与交互，将一个个任务分解成映射与合并两种方式，然而通过映射进行分类与简化，从而产生部分归并结果，然后对同类结果进行归并计算；
由于Hadoop的中间结果需要依托于hdfs，从而需要经历硬盘及网络io的过程所以在实时性方面表现稍差；
Hadoop主要处理hdfs上的文本文件，而文本文件内容本...
分类：
其他好文 时间：
2015-07-07 19:27:46
阅读次数：
294
本来是发表到科技论在线的，谁知道被退稿了，那就发到这里来吧。0引言随着互联网的发展，web2.0时期[1]的到来，人类正式进入了信息爆炸时期的。海量的信息在很多应用都会出现，比如一些社交网络应用中记录用户行为日志通常都是以GB甚至是TB为单位的。常规的单机计算模式已经不能支撑如此巨大的数据量。所以，...
分类：
其他好文 时间：
2015-07-05 23:44:58
阅读次数：
249
hadoop 是实现了 mapreduce 的思想，将数据切片计算来处理大量的离线数据。hadoop
处理的数据必须是已经存放在 hdfs 上或者类似 hbase 的数据库中，所以 hadoop 实现的时候
是通过移动计算到这些存放数据的机器上来提高效率而 storm 不同，storm 是一个流计算框
架，处理的数据是实时消息队列中的，所以需要我们写好一个 topology 逻辑放在那，...
分类：
其他好文 时间：
2015-07-02 19:34:35
阅读次数：
138
http://tech.uc.cn/?p=2116概述什么是SparkSpark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于M...
分类：
其他好文 时间：
2015-07-02 17:24:03
阅读次数：
135
这一篇呢，主要介绍其实现机理。当然，秉承偶的一向的观点，让新手也能看得懂。首先看工作的接口：12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565...
分类：
其他好文 时间：
2015-07-01 11:45:12
阅读次数：
142
问题来源非常感谢@doctorwho的问题：假如职业介绍所来了一批生产汽车的工作，假设生产一辆汽车任务是这样的：搭好底盘、拧4个轮胎、安装发动机、安装4个座椅、再装4个车门、最后安装顶棚。之间有的任务是可以并行计算的（比如拧4个轮胎，安装发动机和安装座椅），有的任务有前置任务（比如先装好座椅，才能装...
分类：
其他好文 时间：
2015-07-01 11:39:07
阅读次数：
95
呵呵，昨天看到两新粉，一激动，就想着今天来写这篇文章。其实一直在关注这个领域，但是一直没有信心来写，所以一直期望着有一个开源的来用。看到了彭渊大师的淘宝分布式框架Fourinone介绍，确实有一种相见恨晚的感觉，于是就准备去研究一番，详细见本人的感想文章由fourinone初步学习想到的，确实来说，...
分类：
其他好文 时间：
2015-07-01 11:33:10
阅读次数：
101
