感觉效率不是很高，是否能用sqoop来解决HBase与其他文件系统的数据导入导出。 通过HBase的相关JavaApi，我们可以实现伴随HBase操作的MapReduce过程，比如使用MapReduce将数据从本地文件导入HBase的表中，或我们从HBase的表中读取一些原始数据用于MapReduc ...
分类：
其他好文 时间：
2020-03-14 14:51:51
阅读次数：
51
[Toc] 一、MapReduce基本常识 二、MapReduce要点 1、combiner的组件需要注意什么？ 因为combiner在MapReduce过程中可能调用也可能不调用，可能调用一次也可能调用多次，无法确定和控制。 所以，combiner的使用原则是：有或没有都不能影响业务逻辑，是不是用 ...
分类：
其他好文 时间：
2020-02-01 16:01:53
阅读次数：
95
hive的库、表等数据实际是hdfs系统中的目录和文件，让开发者可以通过sql语句，像操作关系数据库一样操作文件内容，比如执行查询，统计，插入等操作。一直很好奇hive是如何做到这些的。hive的整体架构图如下所示，compiler部分负责把HiveSQL转换成MapReduce任务。基本转换步骤hiveSQL转换成MapReduce的执行计划包括如下几个步骤：HiveSQL->AST(抽象
分类：
数据库 时间：
2018-12-20 16:54:12
阅读次数：
230
1、Shuffle [从mapTask到reduceTask: Mapper -> Partitioner ->Combiner -> Sort ->Reducer] mapper对job任务进行键值对构建并写入环形内存缓冲区[缓冲区满了，map停止直到全写入磁盘]，大小100MB(io.sort. ...
分类：
其他好文 时间：
2018-09-12 11:07:18
阅读次数：
239
Mapreduce过程中理解 简单的来说map是大数据，reduce是计算<运行时如果数据量不大，但是却要分工做这就比较花时间了> 首先想要使用mapreduce，需要一些配置： 1.在notepad++里修改yarn-site.xml文件，新添加 <property> <name>yarn.res ...
分类：
其他好文 时间：
2018-07-24 15:57:29
阅读次数：
177
** Hadoop 框架基础（四） 上一节虽然大概了解了一下 mapreduce，徒手抓了海胆，不对，徒手写了 mapreduce 代码，也运行了出来。但是没有做更深入的理解和探讨。 那么…… 本节目标： * 深入了解 mapreduce 过程 * 成功部署 Hadoop 集群 ** mapredu ...
分类：
其他好文 时间：
2018-01-12 22:45:13
阅读次数：
241
（原创文章，谢绝转载~） hive可以使用 explain 或 explain extended (select query) 来看mapreduce执行的简要过程描述。explain出来的结果类似以下： 可以通过此分析mapreduce过程。以上为对zd1，zd2 分组，求sum（zd3）的mr过 ...
分类：
其他好文 时间：
2017-08-24 13:27:18
阅读次数：
263
一.combiner combiner不是mapreduce的一个必备过程，是由开发者选择是否使用的，是mapreduce的一种优化手段。 combiner的作用：combiner是为了解决mapreduce过程中的两个性能瓶颈，1.网络宽带严重被占降低程序效率，2.单一节点承载过重降低程序效率。所 ...
分类：
其他好文 时间：
2017-08-16 00:52:19
阅读次数：
215
https://my.oschina.net/itblog/blog/275294 摘要: 本文通过一个例子，详细介绍Hadoop 的 MapReduce过程。 分析MapReduce执行过程 MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处 ...
分类：
其他好文 时间：
2016-12-28 20:18:31
阅读次数：
209
YARN:Yet Another Resource Negotiator, Hadoop集群的资源管理器，可以对运行在Hadoop上的MapReduce V2，Spark，Impala等进行内存和CPU的分配。 MapReduce过程分析 input split（输入分片）阶段:在进行Map之前，会 ...
分类：
其他好文 时间：
2016-10-04 18:44:07
阅读次数：
144
