码迷,mamicode.com
首页 > 数据库 > 详细

NOSQL(六)集群并发计算模型Map-Reduce

时间:2015-04-27 00:34:08      阅读:160      评论:0      收藏:0      [点我收藏+]

标签:

《NoSQL精粹》读书笔记,转载请注明出处《jiq?钦‘s technical Blog》

 

         面向聚合的数据库能够兴起,很大程度上是由于集群的增长。集群不仅改变了数据存储的规则,还改变了数据计算的方式。

         集中式数据库通常两种方式处理计算逻辑:一种是在数据库服务器上执行数据计算、一种是在客户端计算机上执行数据计算。把数据库放到集群之后,采用的计算方式是将计算分布到多台计算机上,同时为了尝试减少网络传输的数据量,把节点所需的数据尽可能多地放到该节点上执行。这就是所谓的“Map-Reduce计算模型”。

         举一个适合于Map-Reduce的场景,考虑客户与订单的例子,因为经常需要一次性访问整个订单,所以将订单作为一个聚合,其中包含多个商品项,每个商品项由<产品ID,数量,价格>组成。然而需要查看最近7天来各个商品的销售总额,这时看到的聚合结构的缺点,为了获得这个销售报表,需要访问所有订单聚合,也就是说需要访问集群中所有机器。采用Map-Reduce正好可以解决这个问题,map函数在每台机器上运行,以订单作为输入,以商品id和销售额的键值对作为输出,Reduce将所有这些键值对进行归并得出最终结果。

         更多的适合于Map-Reduce的例子如经典的wordCount,PageRank,InversedIndex等。

MapReduce特点:

u  MapReduce是在集群上执行并发计算的模式

u  Map从聚合中读取数据,缩减为键值对,在所有节点上并发执行

u  Map的输出是许多具备同一关键字的值,而Reduce则将它们化简为单一的输出值,每个Reduce函数只操作与单个键相关的Map结果。所以Reduce可以根据关键字并发执行

         

NOSQL(六)集群并发计算模型Map-Reduce

标签:

原文地址:http://blog.csdn.net/jiyiqinlovexx/article/details/45293835

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!