4、MapReduce思想、运行机制

标签：链接   读取   pre   分享   shuffle   扩展   计算   out   map   

MapReduce 离线计算框架

分而治之

• input > map > shuffle > reduce > output
• 分布式并行的计算框架

将计算过程分为两个阶段，Map和Reduce

• Map阶段并行处理输入数据
• Reduce阶段对Map结果进行汇总

Shuffle链接Map和Reduce两个阶段

• Map Task将数据写入到本地磁盘
• Reduce Task从每个Map Task上读取一份数据

仅适合离线批处理

• 具有很好的容错性和扩展性
• 适合简单的批处理任务

缺点明显

• 启动开销大、过多使用磁盘导致效率低下等

MapReduce on YARN

4、MapReduce思想、运行机制

标签：链接   读取   pre   分享   shuffle   扩展   计算   out   map   

原文地址：https://www.cnblogs.com/Grand-Jon/p/10130520.html