码迷,mamicode.com
首页 > 其他好文 > 详细

大数据+并行计算+分布式计算知识点整理

时间:2018-08-21 21:10:07      阅读:194      评论:0      收藏:0      [点我收藏+]

标签:round   nbsp   数据量   程序   style   介绍   hdf   数据   应用   

1、请简要介绍一下Hadoop、Spark、MPI三种计算框架的特点以及分别适用什么样的场景?

Hadoop:基于分布式文件系统HDFS的分布式批处理计算框架,适用于数据量大、SPMD(单程序多数据)的应用

Spark:基于内存计算的并行计算框架,适用于需要迭代多轮计算的应用

MPI:基于消息传递的并行计算框架,适用于各种复杂应用的并行计算,支持MPMD(多程序多数据),开发复杂度高。

 

大数据+并行计算+分布式计算知识点整理

标签:round   nbsp   数据量   程序   style   介绍   hdf   数据   应用   

原文地址:https://www.cnblogs.com/yanmk/p/9321997.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!