hadoop伪分布模式搭建（下）

标签：hadoop   hadoop伪分布模式搭建   hadoop环境搭建   

搭建伪分布式是在一台机器上模拟分布式部署，方便学习和调试。

1.解压hadoop文件

下载好的hadoop ，我们可以通过使用WinSCP 把压缩包软件把它 从宿主机复制移动到linux 的/usr/local 目录下。

解压缩文件，并重命名为hadoop，方便使用。重命名后这时，hadoop 目录的完整路径是“/usr/local/hadoop”

设置环境变量HADOOP_HOME，修改文件“/etc/profile”

修改环境变量后，执行source 命令，使配置立即生效。这里设置了一个别名cdha，可以快速转到hadoop 的目录。

hadoop 的目录结构：

着重关注bin目录和conf目录

2.修改配置文件

hadoop 配置文件默认是本地模式， 我们修改四个配置文件， 这些文件都位于$HADOOP_HOME/conf 目录下。
第一个是hadoop 环境变量脚本文件hadoop-env.sh。修改第9 行代码为

export  JAVA_HOME=/usr/local/jdk

依次修改core-site.xml、hdfs-site.xml、mapred-site.xml。core-site.xml和hdfs-site.xml是站在hdfs角度上的，core-site.xml和mapred-site.xml是站在mapreduce角度上的。

core-site.xml:

<configuration>
  <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop:9000</value>
        <description>hdfs的访问路径</description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
	<description>hadoop 运行临时文件的目录</description>
    </property>  
</configuration>

hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <description>存储副本数</description>
</configuration>

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>hadoop:9001</value>
        <description>jobtracker 的访问路径</description>
    </property>
</configuration>

第一次使用hadoop 之前需要进行格式化。执行命令

$HADOOP_HOME/bin/hadoop namenode –format

关闭hadoop 的命令为：stop-all.sh

hadoop 伪分布模式搭建完毕！

hadoop伪分布模式搭建（下）

标签：hadoop   hadoop伪分布模式搭建   hadoop环境搭建   

原文地址：http://blog.csdn.net/zwto1/article/details/44020263