可能是Hadoop hdfs mapreduce最亲民的介绍
分类：
其他好文 时间：
2020-10-30 13:03:28
阅读次数：
17
在单点或者少数节点故障的情况下，集群还可以正常的提供服务，HDFS高可用机制可以通过配置Active/Standby两个NameNodes节点实现在集群中对NameNode的热备来消除单节点故障问题，如果单个节点出现故障，可通过该方式将NameNode快速切换到另外一个节点上。
分类：
其他好文 时间：
2020-10-29 09:35:04
阅读次数：
15
配置集群 配置yarn-env.sh Linux系统中获取JDK的安装路径 [xiaoran@hadoop101 hadoop-2.7.2]$ echo $JAVA_HOME /opt/module/jdk1.8.0_144 修改JAVA_HOME路径 [xiaoran@hadoop101 hado ...
分类：
其他好文 时间：
2020-10-27 11:36:17
阅读次数：
28
1.情景展示 如上图所示，使用idea打包成功后，使用java命令启动jar包，并没有报错信息，但是通过浏览器或者postman却无法访问项目相关请求。 2.原因分析 与项目无关，是idea自身的mvn插件自身的bug，使用插件的package命令进行打包时，如果打成jar包的话，将无法在java中 ...
分类：
编程语言 时间：
2020-10-19 23:00:02
阅读次数：
36
先搬个砖： 一：Hive是什么 Hive是面向大数据的数据仓库，是一种将SQL转换为mapreduce的工具。 二：mapreduce的基本流程及阶段可进行的优化操作 （其实有很多不用设置有默认的设置或设置后反而执行时间长，此处做了解，参考设置在下一节） 附上网上的一张老图（虽然老但是很具有代表性， ...
分类：
其他好文 时间：
2020-10-16 11:19:02
阅读次数：
24
shuffle阶段 概念 shule 是 Mapreduce 的核心，它分布在 Mapreduce 的 map 阶段和 reduce 阶段。一般把从 Map 产生输出开始到 Reduce 取得数据作为输入之前的过程称作 shule。 一张图看懂Mapreduce全过程 概念解释 Collect阶段 ...
分类：
其他好文 时间：
2020-10-05 21:45:42
阅读次数：
32
目录 课程大纲（MAPREDUCE详解） 3 1. MAPREDUCE入门 4 1.1 为什么要MAPREDUCE 4 1.2 MAPREDUCE程序运行演示 4 1.3 MAPREDUCE 示例编写及编程规范 4 1.3.1 编程规范 4 1.3.2 wordcount示例编写 5 1.4 MAP ...
分类：
其他好文 时间：
2020-09-23 23:18:10
阅读次数：
33
Hadoop HA 集群搭建 Hadoop HA 集群搭建Hadoop 完全分布式环境搭建集群规划集群部署前提Hadoop伪分布式环境搭建配置IP映射安装 Java 与 Hadoop配置 Hadoop配置 MapReduce 与 YARN集群配置配置基本参数配置 SSH 免密登录格式化 HDFS启动 ...
分类：
其他好文 时间：
2020-09-18 03:33:30
阅读次数：
38
MapReduce能够计算非常复杂的聚合逻辑，非常灵活，但是，MapReduce非常慢，不应该用于实时的数据分析中。MapReduce能够在多台Server上并行执行，每台Server只负责完成一部分wordload，最后将wordload发送到MasterServer上合并，计算出最终的结果集，返回客户端。MapReduce的基本思想，如下图所示：在这个例子中，我们以一个求和为例。首先执行Map
分类：
数据库 时间：
2020-09-18 00:43:16
阅读次数：
38
介绍 不论MapReduce还是RDD，shuffle都是非常重要的一环，也是影响整个程序执行效率的主要环节，但是在这两个编程模型里面shuffle却有很大的异同。 shuffle的目的是对数据进行混洗，将各个节点的同一类数据汇集到某一个节点进行计算，为了就是分布式计算的可扩展性。 可能大家多MR的 ...
分类：
其他好文 时间：
2020-09-17 19:31:45
阅读次数：
30
