码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop 安装(单机版)

时间:2020-01-26 16:00:24      阅读:128      评论:0      收藏:0      [点我收藏+]

标签:tps   replica   sid   family   position   mmu   shuff   bashrc   ext   

1. 下载安装

官网下载链接

1.1 这里选择安装的是2.9.2,使用下面命令进行下载:

1 # cd ~/software
2 wget http://apache.communilink.net/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

 

1.2 解压重命名

1 tar -xzvf hadoop-2.9.2.tar.gz
2 mv hadoop-2.9.2 hadoop

1.3 配置环境变量

使用vim编辑~/.bashrc文件,加入以下配置(目录换成自己的安装目录):
1 export HADOOP_HOME=/software/hadoop
2 export HADOOP_INSTALL=$HADOOP_HOME
3 export HADOOP_MAPRED_HOME=$HADOOP_HOME
4 export HADOOP_COMMON_HOME=$HADOOP_HOME
5 export HADOOP_HDFS_HOME=$HADOOP_HOME
6 export YARN_HOME=$HADOOP_HOME
7 export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
8 export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
9 export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
使用source命令使配置生效: source ~/.bashrc
可以使用echo $PATH 输出查看是否正确

2. 简单配置

2.1 编辑core-site.xml

文件位置:$HADOOP_HOME/etc/hadoop/core-site.xml

命令:

1 cd /software/hadoop/etc/hadoop
2 vim core-site.xml

配置如下:

 1 <configuration>
 2     <!-- 指定运行端口 -->
 3     <property>
 4         <name>fs.defaultFS</name>
 5         <value>hdfs://localhost:9000</value>
 6     </property>
 7     <!-- 指定临时目录 -->
 8     <property>
 9         <name>hadoop.tmp.dir</name>
10         <value>/data/hadoop/tmp</value>
11     </property>
12 </configuration>

2.2 编辑hdfs-site.xml

文件位置: $HADOOP_HOME/etc/hadoop/hdfs-site.xml

命令:

1 cd /software/hadoop/etc/hadoop
2 vim hdfs-site.xml

配置:

1 <configuration>
2     <!-- 备份数量 -->
3     <property>
4         <name>dfs.replication</name>
5         <value>1</value>
6     </property>
7 </configuration>

2.3 编辑mapred-site.xml

位置:$HADOOP_HOME/etc/hadoop/mapred-site.xml.template

命令:

1 cd /software/hadoop/etc/hadoop
2 # 复制并重命名
3 cp mapred-site.xml.template mapred-site.xml
4 vim mapred-site.xml

配置:

1 <configuration>
2     <!-- 配置资源管理器 -->
3     <property>
4         <name>mapreduce.framework.name</name>
5         <value>yarn</value>
6     </property>
7 </configuration>

2.4 编辑yarn-site.xml

位置: $HADOOP_HOME/etc/hadoop/yarn-site.xml

命令:

1 cd /software/hadoop/etc/hadoop
2 vim yarn-site.xml

配置:

1 <configuration>
2     <property>
3         <name>yarn.nodemanager.aux-services</name>
4         <value>mapreduce_shuffle</value>
5     </property>
6 </configuration>

3. 启动Hadoop

 1 # 第一次,格式化namenode
 2 hdfs namenode -format
 3 # 运行HDFS
 4 start-dfs.sh
 5 # 运行yarn
 6 start-yarn.sh
 7 # 查看运行状况(前提是安装jdk并配置环境变量)
 8 jps
 9 # 停止hdfs
10 stop-dfs.sh
11 # 停止yarn
12 stop-yarn.sh

 

Hadoop 安装(单机版)

标签:tps   replica   sid   family   position   mmu   shuff   bashrc   ext   

原文地址:https://www.cnblogs.com/dintalk/p/12234254.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!