Hadoop1.2.1分布式安装-2-安装篇

标签：style   blog   http   java   使用   os   文件   数据   

1、在打算做namenode的机器上，wget或其他方式下载hadoop的压缩包，并解压到本地指定目录

下载解压命令参考Linux常用命令。

2、配置namenode，修改site文件

• 修改core-site.xml

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://bd01:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/wukong/a_usr/hadoop-tmp</value>
  </property>
</configuration>

      注意：bd01配置的是namenode的主机名。tmp目录必须配置且不能删除，如果删除hadoop的hdfs就没了，必须重新安装。

• 修改hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

     注意： 文件系统中文件复制的份数，默认是3份。份数越多，越耗费磁盘。一般设置成奇数，方便数据不一致时可以判断正确性。

• 修改mapred-site.xml

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>bd01:9001</value>
  </property>
</configuration>

3、配置hadoop-env.sh

# The java implementation to use.  Required.
export JAVA_HOME=/usr/lib64/jdk1.7.0_65/

      配置JAVA_HOME时将路径指向自己本机上的jdk目录。

4、配置masters和slaves

     在masters中加入master的主机名，slaves中加入slaves的主机名。

5、向各个节点复制hadoop

      使用scp复制。scp使用方法参考Linux常用命令

6、格式化namenode

bin/hadoop namenode -format

      当log中出现info是...has been successfully formated...之后，就算格式化成功了。

7、启动hadoop守护进程

bin/start-all.sh

8、用jps检验各后台进程是否OK

jps

      如果有问题，可以修改配置文件，杀死已启动的进程后重新启动hadoop。杀死进程命令参考Linux常用命令。如果没有问题，应该显示有如下几个进程：namenode, secondnamenode, jobtracker。如果在datanode节点上查看进程，则会看到datanode, tasktracker。

Hadoop1.2.1分布式安装-2-安装篇,布布扣,bubuko.com

Hadoop1.2.1分布式安装-2-安装篇

标签：style   blog   http   java   使用   os   文件   数据   

原文地址：http://my.oschina.net/allman90/blog/295308