码迷,mamicode.com
首页 > 其他好文 > 详细

分布式的并行计算技术

时间:2016-09-09 15:04:21      阅读:185      评论:0      收藏:0      [点我收藏+]

标签:

流计算:

  Strom:针对“边达到边计算”的实时流计算框架,可在一个时间窗口上对数据流进行在线实时分析。

  同样的还有Yahoo提出的S4系统。

批计算:

  Hadoop:是一个提供分布式存储和计算的软件框架,它具有无共享、高可用、弹性可扩展的特点,非常适合处理海量数据。先存储再计算。

实时批计算:

  Spark:是基于内存计算、支持快速迭代的的大数据并行计算框架。适用于一切的分布式处理方案。

  Spark比MapReduce更加高效,数据处理速度更快。可以作为MapReduce的替代方案,并且兼容HDFS、Hive等分布式存储层,可以融入Hadoop的生态系统,以弥补MapReduce的不足。

图计算:

  Pregel:面向图结构优化。

交互查询:

  Dremel:快速交互查询。

分布式的并行计算技术

标签:

原文地址:http://www.cnblogs.com/kinging/p/5771190.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!