hadoop-1.2.1分布式配置启动问题

标签：des   style   http   io   color   ar   使用   sp   文件   

关键配置(core-site.xml 和hdfs-site.xml)（这里只是针对与HDFS，没有启动MapReduce）：

core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://qzhong:8000</value>
</property>

</configuration>

hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/qzhong/hadoopnamedir</value>
</property>

<property>
<name>dfs.data.dir</name>
<value>/home/qzhong/hadoopdatadir</value>
</property>

<property>
<name>dfs.block.size</name>
<value>134217728</value>
</property>

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

<property>
<name>dfs.http.address</name>
<value>qzhong:50070</value>
</property>

<property>
<name>fs.checkpoint.dir</name>
<value>/home/qzhong/hadoopsecondarydir</value>
</property>

<property>
<name>fs.checkpoint.edits.dir</name>
<value>/home/qzhong/hadoopsecondarydir</value>
</property>

<property>
<name>dfs.secondary.http.address</name>
<value>node27:50090</value>
</property>
</configuration>

slaves:

node27

node100

node101

qzhong

masters:

node27

总体下来：namenode:qzhong    secondarynamenode:node27  datanode:qzhong node27 node100 node101

其中过程中会遇到的问题：

如果仅仅使用jps命令还有未发现的错误，比如secondarynamenode使用jps命令可以看到secondarynamenode启动，但是有问题（通过观看日志文件），需要设置http地址和端口，这样secondarynamenode才能正常使用

总体下来在配置hadoop启动过程中会遇到的问题及排解方法：

1、首先使用jps命令查看是否相关进程已经启动，如果没有启动查看日志文件，根据具体问题具体排查错误

2、当jps命令显示所有相关进程都已经启动完成，这时并不意味着hadoop启动就是正常，需要再次查看日志文件，看相关进程的启动情况，如果没有什么问题，这时系统hadoop才算运行正常

3、在运行的过程中，hadoop可能会有其他问题，这时需要不断的查看日志文件分析错误来源，进一步了解问题来源从而正确处理问题，没有统一的处理问题的方式（会看日志文件是必须的）

hadoop-1.2.1分布式配置启动问题

标签：des   style   http   io   color   ar   使用   sp   文件   

原文地址：http://www.cnblogs.com/linghuchong0605/p/4086135.html