三概要模式 3) MR计数器计数。无 reduce 计数

时间：2016-05-03 15:59:52 阅读：141 评论：0 收藏：0 [点我收藏+]

标签：

计数器模式讲解：

先讲一下，就是说只用 Map 阶段不需要 Reduce 。也就是说去掉了中间输出，而是Map 直接输出结果。大大提高了 MR 的效率且节省了 MR 中间输出读入的 IO 。

Hadoop 框架支持

在 MR 结束时，只需要简单的获取框架的计数器信息并将结果写入到任意地方。包括日志、本地文件系统、HDFS 等。 Hadoop 框架中内置了一些计数器的支持。例如输入、输出的记录数和字节数。 Hadoop 支持开发者根据自己的需要创建自定义计数器。

适用场景：

在一个大数据集上收集技术或汇总。

需要创建的计数器数目很小——两位数字以内。

结构：

简单的讲：TaskTracker 聚合并增量汇报给 JobTracker 。 JobTracker 完成整体聚合。所有的工作只需要在 map 过程中完成。不需要 combiner、partitioner 或 reduce 过程。

标签：

原文地址：http://www.cnblogs.com/rocky24/p/b8d305cf1f9d8b863c85359e6eff7ef2.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

周排行

三 概要模式 3) MR计数器计数 。无 reduce 计数