为什么要用集群 在企业中主要使用集群 在学习的过程中使用伪分布式即可，就是单点 HDFS中的 NN SNN DN YARN 的 RM 老大 NM 每个组件只有一个即可 如果nn挂了就不能再继续对外提供服务，例如客户端请求的读写，put get那些。 为了解决这个问题，企业一般都会准备两台nn，对外提 ...
分类：
其他好文 时间：
2019-04-05 12:23:29
阅读次数：
162
参考文章： https://blog.csdn.net/qq_38038143/article/details/82779016 https://blog.csdn.net/m0_37461645/article/details/84111375 ...
分类：
其他好文 时间：
2019-03-24 23:19:37
阅读次数：
198
下载 安装hadoop3.1.2http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz 注意：hadoop3.x的配置文件$HADOOP_HOME/etc/hadoop 伪分布式需要修改5个配置文件 ...
分类：
系统相关 时间：
2019-03-19 01:20:34
阅读次数：
425
1.安装JDK1.8，下载安装包解压至 /usr/lib/jdk #配置路径 2.之前已经安装好SSH，现在设置免密码登录 测试设置是否成功 3.下载Hadoop2.6.0，解压至/home/super/software/hadoop 设置环境变量 添加 使环境生效 【ps:在后续出现start-a ...
分类：
系统相关 时间：
2019-03-17 18:19:36
阅读次数：
166
一、安装ubuntu操作系统 参考：https://www.cnblogs.com/Alier/p/6337151.html 二、下载hadoop以及hive hadoop：https://hadoop.apache.org/releases.html hive：http://hive.apache ...
分类：
系统相关 时间：
2019-03-12 21:22:42
阅读次数：
230
flume伪分布式安装： 1、导包：apache-flume-1.7.0-bin.tar.gz 2、配置环境变量：/etc/profile export FLUME_HOME=/yang/apache-flume-1.7.0-bin export PATH=$PATH:$FLUME_HOME/bin ...
分类：
Web程序 时间：
2019-02-21 12:57:44
阅读次数：
233
第4章 Hadoop运行模式4.1 本地运行模式4.1.1 官方Grep案例4.1.2 官方WordCount案例4.2 伪分布式运行模式4.2.1 启动HDFS并运行MapReduce程序4.2.2 启动YARN并运行MapReduce程序4.2.3 配置历史服务器4.2.4 配置日志的聚集4.2 ...
分类：
其他好文 时间：
2019-02-03 10:26:29
阅读次数：
284
在hadoop生态中，wordcount是hadoop世界的第一个hello world程序。 wordcount程序是用于对文本中出现的词计数，从而得到词频，本例中的词以空格分隔。 关于mapper、combiner、shuffler、reducer等含义请参照Hadoop权威指南里的说明。 1、 ...
分类：
其他好文 时间：
2019-01-30 14:28:45
阅读次数：
209
一.软件： jdk1.8 : jdk-8u181-linux-x64.tar.gz hadoop3.1.1:hadoop-3.1.1.tar.gz 二、工具： VMVare Fusion 10系列 一台cent os 6.5 x64 主机 三、安装步骤： 1.准备linux环境 1.1.修改主机名 ...
分类：
其他好文 时间：
2019-01-28 19:19:15
阅读次数：
181
1.单机(非分布式)模式 这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。 2.伪分布式运行模式 这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,S ...
分类：
其他好文 时间：
2019-01-27 13:00:41
阅读次数：
191
