码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop1.2.1配置文件

时间:2015-10-19 16:52:40      阅读:208      评论:0      收藏:0      [点我收藏+]

标签:

1)core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration> 
<property>
<name>fs.default.name</name>    
<value>hdfs://Master:9000</value>
</property>  
<property>
<name>Hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> </property> </configuration>

  

hadoop.tmp.dir 是hadoop文件系统依赖的基础配置,很多路径都依赖它,并且NameNode的元数据备份等信息也会放在此这个目录下,如果不配置,其默认路径是/tmp,而/tmp是系统的临时目录,系统重启时往往会被清空,所以需要自定义一个持久化的数据目录如果hdfs-site.xml中不配置namenode和datanode的存放位置,默认就放在这个路径中。

fs.default.name参数意义就是Namenode的地址和RPC端口。

2)hdfs-site.xml

 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
                               

 

dfs.replication表示为了保证数据的可靠性而设置块的复制数量(默认为3)

dfs.name.dir表示存储NameNode元数据的目录

dfs.data.dir表示数据块的datanode中存储的目录

DataNode节点存储数据块的位置(以Slave2为例):只有data目录,没有name目录,完全对应上述配置文件

<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/tmp/dfs/data</value>
</property>

技术分享

NameNode存储文件系统元数据位置:只有name目录,没有data目录,完全对应上述配置文件中

<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/tmp/dfs/name</value>
</property>  

技术分享

3)mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>Master:9001</value>
</property>
</configuration>
           
mapred.job.tracker表示RPC地址和端口号。并且,此文件中不能有空白行出现。

 

 



hadoop1.2.1配置文件

标签:

原文地址:http://www.cnblogs.com/lz3018/p/4892023.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!