原文转自:http://kb.cnblogs.com/page/518558/ 摘要:Jay Kreps是来自LinkedIn的首席工程师,他表示日志几乎在计算机产生的时候就存在,除了可用在分布式计算或者抽象分布式计算模型内部之外,还有广泛的用途。本文中他讲述的日志的原理和通过把日志用做单独服务来实 ...
分类:
其他好文 时间:
2016-04-20 00:31:03
阅读次数:
176
Map-Reduce是一种计算模型,简单的说就是将大批量的工作(数据)分解(MAP)执行,然后再将结果合并成最终结果(REDUCE)。 MongoDB提供的Map-Reduce非常灵活,对于大规模数据分析也相当实用。 MapReduce 命令 以下是MapReduce的基本语法: 使用 MapRed ...
分类:
数据库 时间:
2016-04-19 19:34:14
阅读次数:
246
Hadoop简介Hadoop就是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Reduce,分布式文件系统HDFS,以及分布式数据库Hbase,同时Hadoop的相关项目也很丰富,包括ZooKeeper,Pig,Chukwa,Hive,Hbase,Mahout,flume等.这 ...
分类:
其他好文 时间:
2016-04-18 11:27:43
阅读次数:
230
第一部分 OpenStack及其构成简介 一、云计算 云计算是一种计算模型,它将诸如运算能力、存储、网络和软件等资源抽象成为服务,以便让用户通过互联网远程享用,付费的形式也如同传统公共服务设施一样。因需而定、提供方便、动态改变和无限的虚拟化扩展能力是云计算的几个重要特征。 不同的“云”对应着不同的基 ...
分类:
其他好文 时间:
2016-04-13 14:35:51
阅读次数:
344
对于Hadoop来说,最主要的是两个方面,一个是分布式文件系统HDFS,另一个是MapReduce计算模型,搭建Hadoop的运行环境主要分为三种:独立模式环境、伪分布式环境、完全分布式环境。一、独立模式:也叫单机模式。这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地..
分类:
其他好文 时间:
2016-04-13 00:43:24
阅读次数:
143
Map-Reduce是一种计算模型,简单的说就是将大批量的工作(数据)分解(MAP)执行,然后再将结果合并成最终结果(REDUCE)。 MapReduce命令基本语法: db.collection.mapReduce( function() {emit(key,value);}, //map 函数
分类:
数据库 时间:
2016-03-20 17:46:04
阅读次数:
274
Mapreduce初析
Mapreduce是一个计算框架,既然是做计算的框架,那么表现形式就是有个输入(input),mapreduce操作这个输入(input),通过本身定义好的计算模型,得到一个输出(output),这个输出就是我们所需要的结果。
重点就是这个计算模型的运行规则。在运行一个mapreduce计算任务时候,任务过程被分为两个阶段:map阶段...
分类:
其他好文 时间:
2016-03-18 14:47:52
阅读次数:
298
分布式流处理,类似于MapReduce这样的通用计算模型,但是却要求它能够在毫秒级别或者秒级别完成响应。这些系统可以用DAG表示流处理的拓扑。 在比较不同系统是,可以参照如下几点 一个平台提供的编程模型往往会决定很多它的特性,并且这个编程模型应该足够处理所有可能的用户案例。 一个合格的处理平台应该能
分类:
Web程序 时间:
2016-03-18 13:34:02
阅读次数:
315
什么是MapReduce ? MapReduce是一种计算模型,简单的说就是将大批量的任务分解(Map)运行,然后再将分解运行的结果合并(Reduce)成终于结果。这样做的优点是任务在被分解后。能够通过大量机器进行并行计算。降低整个操作的时间。 Mapping Lists(分解数据列表) MapRe
分类:
其他好文 时间:
2016-02-23 13:20:06
阅读次数:
266
Atitit.虚拟机与指令系统的设计 1. 两种计算模型 ,堆栈机和状态机(基于寄存器的虚拟机1 1.1.1. 堆栈机1 1.1.2. 状态机2 2. 为什么状态机比堆栈机快呢?3 2.1. Stack based vm的指令 范例4 3. 参考5 1. 两种计算模型 ,堆栈机和状态机(基于寄存器的
分类:
其他好文 时间:
2016-02-09 01:20:59
阅读次数:
174