hadoop包安装

标签：export   yarn   $path   log   定时   改名字   oop   for   本地   

Hadoop包安装　

创建hadoop账户

1. 创建hadoop账户

   1 # useradd hadoop
   2 # passwd hadoop

    

2. 将本地目录下的hadoop-2.6.0-cdh5.5.0.tar.gz，上传到虚拟机的/usr/local目录下，并且更改名字。
   

   1 tar -xzvf hadoop-2.6.0-cdh5.50
   2 mv hadoop-2.6.0-cdh5.50 hadoop

3. 配置hadoop的环境变量,并创建/usr/local/data
   

   1 vim ~/.bashrc
   2 export HADOOP_HOME=/usr/local/hadoop
   3 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
   4 source ~/.bashrc

4. 进入/usr/local/hadoop/etc/hadoop修改配置文件

   修改core-site.xml

   

   修改hdfs-site.xml

   

   修改mapred-site.xml

   

   修改yarn-site.xml

   

   修改hadoop-env.sh（默认情况下HADOOP_PID_DIR指定位置是/tmp目录,但是/tmp目录每次重启会做定时的更新,所以会不稳定,所以在完全分布式环境下需要进行修改）

   1 export JAVA_HOME=/usr/local/default
   2 export HADOOP_PID_DIR=/disk1/dfs/tmp

    

   修改mapred-env.sh
   
   

   1 export MAPRED_PID_DIR=/disk1/dfs/tmp

    

   修改yarn-env.sh

   1 export YARN_PID_DIR=/disk1/dfs/tmp

    

   配置hadoop环境变量

   

5. 格式化namenode
   

   1 # su - hadoop
   2 $ hadoop namenode -format

    

6. 启动hdfs和yarn集群：
   

   1 start-all.sh（包括start-dfs.sh和start-yarn.sh）

    或者可以单独启动，集群规划参考之前的文档

   hadoop-daemon.sh start namenode/secondarynamenode/datanode
   yarn-daemon.sh start nodemanager/resourcemanager
   mr-jobhistory-daemon.sh start historyserver

    

   启动之后可以通过jps查看当前开启的服务以及netstat -tnlp查询端口信息（或者可以在windows下通过登录xxx:50070和xxx:8088查看）
   
   

hadoop包安装

标签：export   yarn   $path   log   定时   改名字   oop   for   本地   

原文地址：http://www.cnblogs.com/Try-kevin/p/7868539.html