码迷,mamicode.com
首页 > 系统相关 > 详细

Linux-Hadoop安装

时间:2017-11-27 01:22:53      阅读:245      评论:0      收藏:0      [点我收藏+]

标签:exp   efault   res   文件   编辑   service   配置   tracker   apr   

安装环境:

  • CentOS7_x86_64
  • JDK8
  • Hadoop-2.9.0

安装步骤:

1.安装配置JDK。

2.下载Hadoop-2.9.0。

3.解压Hadoop

tar zvxf hadoop-2.9.0.tar.gz

4.将Hadoop的bin目录和sbin目录添加到PATH中。

1 #编辑配置文件
2 vim /etc/profile
3 #配置环境变量
4 HADOOP_HOME=/usr/local/hadoop-2.9.0
5 PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
6 export PATH
7 #使指定文件中的配置生效
8 source /etc/profile

 

配置步骤:

1.配置hadoop-env.sh文件中的JAVA_HOME,使用绝对路径进行配置。

2.配置各个文件。

core-site.xml:用于配置通用属性。

hdfs-site.xml:用于配置HDFS属性。

mapred-site.xml:用于配置MapReduce属性。

yarn-site.xml:用于配置YARN属性。

关键配置项:

组件名称 属性名称 独立模式 伪分布模式 全分布模式
Common fs.default.name file:/// hdfs://localhost/ hdfs://namenode/
HDFS dfs.replication N/A 1 3
MapReduce 1 mapred.job.tracker local localhost:8021 jobtracker:8021
YARN(MapReduce 2) yarn.resource.manager.address N/A localhost:8032 resoucemanager:8032
 1 <!-- core-site.xml -->
 2 <configuration>
 3     <property>
 4         <name>fs.default.name</name>
 5         <value>hdfs://localhost/</value>
 6     </property>
 7 </configuration>
 8 
 9 <!-- hdfs-site.xml -->
10 <configuration>
11     <property>
12         <name>dfs.replication</name>
13         <value>1</value>
14     </property>
15 </configuration>
16 
17 <!-- mapred-site.xml -->
18 <configuration>
19     <property>
20         <name>mapred.job.tracker</name>
21         <value>localhost:8021</value>
22     </property>
23 </configuration>
24 
25 <!-- yarn-site.xml -->
26 <configuration>
27     <property>
28         <name>yarn.resourcemanager.address</name>
29         <value>localhost:8032</value>
30     </property>
31     <property>
32         <name>yarn.nodemanager.aux-services</name>
33         <value>mapreduce.shuffle</value>
34     </property>
35 </configuration>

 

 格式化:

1 #格式化文件系统
2 hadoop namenode -format

 

启动步骤:

 1.Map Reduce1

 1 #启动hdfs
 2 start-dfs.sh --config path-to-config-directory
 3 #启动mapredude
 4 start-mapred.sh --config path-to-config-directory
 5 
 6 
 7 #关闭hdfs
 8 stop-dfs.sh
 9 #关闭mapreduce
10 stop-mapred.sh

 

2.Map Reduce2

 1 #启动hdfs
 2 start-dfs.sh --config path-to-config-directory
 3 #启动yarn
 4 start-yarn.sh --config path-to-config-directory
 5 
 6 
 7 #关闭hdfs
 8 stop-dfs.sh
 9 #关闭yarn
10 stop-yarn.sh

 

Linux-Hadoop安装

标签:exp   efault   res   文件   编辑   service   配置   tracker   apr   

原文地址:http://www.cnblogs.com/qhdxqxx/p/7893075.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!