本人一直从事分布式计算研究和研发，Iveely Computing是我在工作之余写的分布式计算框架，用于大规模集群服务器，简单易用，纯Java开发。至少包含以下功能： 分布式任务分解执行能力。 容灾处理能力。 大数据分析处理能力。 好了，我为什么会写Iveely Computing这样的计算框架呢？...
分类：
其他好文 时间：
2015-08-16 18:09:49
阅读次数：
127
1背景介绍现今分布式计算框架像MapReduce和Dryad都提供了高层次的原语，使用户不用操心任务分发和错误容忍，非常容易地编写出并行计算程序。然而这些框架都缺乏对分布式内存的抽象和支持，使其在某些应用场景下不够高效和强大。RDD(Resilient Distributed Datasets弹性分...
分类：
其他好文 时间：
2015-07-15 12:43:05
阅读次数：
164
Hadoop：
Hadoop在使用原理上基本上遵照了Map、Reduce这样的一种模式进行项目的实际开发与交互，将一个个任务分解成映射与合并两种方式，然而通过映射进行分类与简化，从而产生部分归并结果，然后对同类结果进行归并计算；
由于Hadoop的中间结果需要依托于hdfs，从而需要经历硬盘及网络io的过程所以在实时性方面表现稍差；
Hadoop主要处理hdfs上的文本文件，而文本文件内容本...
分类：
其他好文 时间：
2015-07-07 19:27:46
阅读次数：
294
本来是发表到科技论在线的，谁知道被退稿了，那就发到这里来吧。0引言随着互联网的发展，web2.0时期[1]的到来，人类正式进入了信息爆炸时期的。海量的信息在很多应用都会出现，比如一些社交网络应用中记录用户行为日志通常都是以GB甚至是TB为单位的。常规的单机计算模式已经不能支撑如此巨大的数据量。所以，...
分类：
其他好文 时间：
2015-07-05 23:44:58
阅读次数：
249
本文发表于2012年。提出了一种称为离散化数据流(Discretized Streams,D-Streams)的编程模型。该模型提供了一种高级函数式API，具有高度的一致性和强大的容错能力。基于Spark分布式计算框架，进行扩展实现了一个D-Stream的原型，称为Spark Streaming。
分类：
其他好文 时间：
2015-05-28 19:51:10
阅读次数：
522
摘要：Fourinone是一个分布式并行计算框架，以轻量的方式提供了一个四合一的分布式框架功能以及简单易用的API，通过实现对多台计算机资源的统一利用，来获得强大的计算能力。本期我们采访了项目创始人彭渊。Fourinone（即Four-in-one，中文名字“四不像”）是一个分布式计算框架，提供了一...
分类：
其他好文 时间：
2015-05-24 10:01:35
阅读次数：
191
分布式计算在许多领域都有广泛需求，目前流行的分布式计算框架主要有 Hadoop MapReduce, Spark Streaming, Storm； 这三个框架各有优势，现在都属于 Apache 基金会下的顶级项目，下文将对三个框架的特点与适用场景进行分析，以便开发者能快速选择适合自己的框架进行开发...
分类：
其他好文 时间：
2015-05-06 14:51:36
阅读次数：
174
Hadoop简介:
分布式、可扩展、可靠的、分布式计算框架。
组件：
common：公共组件
hdfs：分布式文件系统
yarn：运行环境
mapreduce：mr计算模型
生态系统：
Ambari:操作界面
avro：通用的序列化机制、与语言无关
cassandra:数据库
chukwa：数据收集系统
hbase:分布式大表数据库
hive：基于sql的分析系统
matout：机器学习算法库
pi...
分类：
其他好文 时间：
2015-04-05 11:59:31
阅读次数：
234
Hadoop 由两部分组成，分别是分布式文件系统和分布式计算框架 MapReduce。 其中，分布式文件系统主要用于大规模数据的分布式存储， 而 MapReduce 则构建在分布式文件系统之上，对存储在分布式文件系统中的数据进行分布式计算。本文主要涉及 MapReduce，但考虑到它的一些功能跟底层...
分类：
其他好文 时间：
2015-03-17 23:06:37
阅读次数：
196
1.先说说什么是Hadoop？ 个人理解：一个分布式文件存储系统+一个分布式计算框架，在其上还有很多的开源项目来丰富他的功能，如Hbase,hive等等。官方：Hadoop是一个用Java编写的开源系统，可安排在大规模的计算平台上，从而提高计算效率。本质上它只是一个海量数据处理平台架构。2.Had....
分类：
其他好文 时间：
2015-03-13 22:16:15
阅读次数：
213
