[Nutch]Hadoop多机完全分布式模式hadoop配置

1. 下载hadoop

使用如下命令：

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

使用如下命令解压：

tar -zxvf hadoop-1.2.1.tar.gz

2. 配置hadoop

将hadoop的bin目录加入到配置文件中，使用如下命令：

vim .bashrc

添加如下行：

export PATH=/home/hadoop/workspace/hadoop-1.2.1/bin:$PATH

如下：

使用如下命令使其生效：

source  .bashrc

验证hadoop路径，使用如下命令：

which hadoop

如下：

3. 配置hadoop的运行参数

3.1 修改masters配置文件

将localhost修改为host1：

vim conf/masters

3.2 修改slaves配置文件

删除localhost，添加host1,，host2，host3：

vim conf/slaves

3.3 修改core-site.xml

使用如下命令：

vim conf/core-site.xml

添加如下内容：

<property>
<name>fs.default.name</name>
<value>hdfs://host1:9000</value>
</property>

如下：

3.4 修改hdfs-site.xml

使用如下命令：

vim conf/hdfs-site.xml

添加如下内容：

<property>
  <name>dfs.name.dir</name>
  <value>/home/hadoop/dfs/filesystem/name</value>
</property>
<property>
  <name>dfs.data.dir</name>
  <value>/home/hadoop/dfs/filesystem/data</value>
</property>
<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

如下：

3.5 修改mapred-site.xml文件

使用如下命令：

vim conf/mapred-site.xml

添加如下内容：

<property>
  <name>mapred.job.tracker</name>
  <value>host1:9001</value>
</property>
<property> 
  <name>mapred.tasktracker.map.tasks.maximum</name>
  <value>4</value>
</property> 
<property> 
  <name>mapred.tasktracker.reduce.tasks.maximum</name>
  <value>4</value>
</property>
<property>
  <name>mapred.system.dir</name>
  <value>/home/hadoop/mapreduce/system</value>
</property>
<property>
  <name>mapred.local.dir</name>
  <value>/home/hadoop/mapreduce/local</value>
</property>

如下：

3.6 修改hadoop-env.sh文件

使用vim打开conf目录下面的hadoop-env.sh文件：

vim conf/hadoop-env.sh

在里面配置JAVA_HOME，加入如下内容:

export JAVA_HOME=/usr/lib/jvm/java-8-oracle

如图：

4. 复制hadoop文件到其他主机结点

使用如下命令复制到主机host2：

scp -r /home/hadoop/workspace/hadoop-1.2.1  hadoop@host2:/home/hadoop/workspace/hadoop-1.2.1

如下：

使用如下命名复制到主机host3：

scp -r /home/hadoop/workspace/hadoop-1.2.1  hadoop@host3:/home/hadoop/workspace/hadoop-1.2.1

如下：

5. 格式化名称节点并启动集群

使用如下命令：

hadoop namenode -format

如下：

6. 启动集群

使用如下命令：

start-all.sh

如下：

7.查看各个主机结点启动的进程

在host1上使用jps可以看到如下进程：

在host2上使用jps可以看到如下进程：

在host3上使用jps可以看到如下进程：

8. 查看web管理页面