标签:work 用户 JD dem orm 5.x 安装 daemon UI
这是hadoop官网伪分布式安装流程
http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
本机部署环境,虚拟机VMware
Hadoop版本:Hadoop 2.9.1
LINUX版本:CentOS-7-x86_64-DVD-1804.iso
以下操作都是在root用户下操作:
一、安装jdk,我是安装的系统自带的,官网有说支持哪些版本jdk。
[root@localhost hadoop]# yum list|grep jdk-devel
[root@localhost hadoop]# yum install java-1.8.0-openjdk-devel.x86_64
配置JAVA_HOME变量,添加到PATH
vi /etc/profile 添加
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.171-8.b10.el7_5.x86_64
export PATH=$PATH:$JAVA_HOME/bin
二、下载hadoop版本
http://www.apache.org/dyn/closer.cgi/hadoop/common/
传到root用户 ~ 目录下,解压 tar zxvf hadoop-2.9.1.tar.gz
edit the file /root/hadoop-2.9.1/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.171-8.b10.el7_5.x86_64
最好定义一个环境变量指向 Hadoop 的安装目录(HADOOP_HOME),并将其放在 PATH 下。比如,在 /etc/profile 下输入:
export HADOOP_HOME=/root/hadoop-2.9.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin
输入命令hadoop version 看配置可有问题,正常话会显示下面内容
[root@localhost hadoop]# hadoop version Hadoop 2.9.1 Subversion https://github.com/apache/hadoop.git -r e30710aea4e6e55e69372929106cf119af06fd0e Compiled by root on 2018-04-16T09:33Z Compiled with protoc 2.5.0 From source with checksum 7d6d2b655115c6cc336d662cc2b919bd This command was run using /root/hadoop-2.9.1/share/hadoop/common/hadoop-common-2.9.1.jar
三、每一个 Hadoop 组件的配置都使用一个 XML 文件。四个组件Common,HDFS,MapReduce 和 YARN 的配置文件分别对应 core-site.xml,hdfs-site.xml,mapred-site.xml 和 yarn-site.xml. 这些文件均在 Hadoop 安装目录下的 etc/hadoop 的子目录中。以下我根据官网配的。
etc/hadoop/core-site.xml: <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> etc/hadoop/hdfs-site.xml: <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
Configure parameters as follows:etc/hadoop/mapred-site.xml:
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
etc/hadoop/yarn-site.xml:
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
四、配置 ssh
如果本机没有安装 ssh,首先安装下
yum install ssh
配置 ssh 免登陆:
$ ssh-keygen -t rsa -P ‘‘ -f ~/.ssh/id_rsa $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys
# 输入以下命令,不要密码即成功
ssh localhost
五、格式化 HDFS 文件系统
跟一般的文件系统一样,使用 HDFS 之前,需要格式化以下
hdfs namenode -format
六、启动和终止程序
启动 HDFS,YARN 和 MapReduce 后台进程:
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
执行以上命令后,以下后台进程会在本机上出现:1 namenode,1 secondary namenode,1 datanode (HDFS),1 resource manager,1 node manager (YARN) 以及 1 history server (MapReduce)。
namenode: http://localhost:50070
history server: http://localhost:19888
resource manager: http://localhost:8088
验证是否启动成功
[root@localhost hadoop]# jps 4566 NodeManager 3879 NameNode 3993 DataNode 4457 ResourceManager 7163 Jps 4204 SecondaryNameNode
终止程序
mr-jobhistory-daemon.sh stop historyserver
stop-yarn.sh
stop-dfs.sh
hadoop 2.91 Pseudodistributed Mode(伪分布式)安装流程
标签:work 用户 JD dem orm 5.x 安装 daemon UI
原文地址:https://www.cnblogs.com/dingdangzhijia/p/9085650.html