本篇分两部分，第一部分分析使用 java 提交 mapreduce 任务时对 mapper 数量的控制，第二部分分析使用 streaming 形式提交 mapreduce 任务时对 mapper 数量的控制。 环境：hadoop-3.0.2 前言： 熟悉 hadoop mapreduce 的人可能已 ...
分类：
移动开发 时间：
2018-06-26 19:36:47
阅读次数：
343
hadoop的核心组件：hdfs（分布式文件系统）、mapreduce（分布式计算框架）、Hive（基于hadoop的数据仓库）、HBase（分布式列存数据库）、Zookeeper（分布式协作服务）、Sqoop（数据同步工具）和Flume（日志手机工具） hdfs（分布式文件系统）： 由client ...
分类：
其他好文 时间：
2018-01-20 00:24:52
阅读次数：
604
MapReduce框架的优势是能够在集群中并行运行mapper和reducer任务，那怎样确定mapper和reducer的数量呢，或者说怎样以编程的方式控制作业启动的mapper和reducer数量呢？在《Hadoop-2.4.1学习之Mapper和Reducer》中以前提及建议reducer的数 ...
分类：
移动开发 时间：
2017-04-30 13:57:18
阅读次数：
306
使用Dr.Elephant来分析我们的任务，可以知道有哪些地方可以进行优化。
加速你的任务流程
对于特定的任务，最好有特定的参数配置。对于很多的应用场景来说，默认的任务配置并不能保证每个任务都有最好的性能。尽管对这些任务进行调优会花费一些时间，但是这些调优带来的性能提升是非常可观的。
有几个任务参数需要特别注意：mapper数量，reducer数量，io.*的配置，内存使用设置以及生成的文件...
分类：
其他好文 时间：
2016-05-13 00:29:57
阅读次数：
241
本篇文章通过源代码分析了在输入格式为TextInputFormat的情况下，hadoop-2.4.1如何确定Mapper任务的数量...
分类：
移动开发 时间：
2014-11-11 16:34:07
阅读次数：
216
