码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop 配置文件简介

时间:2015-05-19 00:32:41      阅读:109      评论:0      收藏:0      [点我收藏+]

标签:

1、core-site.xml文件

这是一个描述集群中NameNode结点的URI-统一资源标识符(包括协议,主机名称,端口号),集群里面的每一台机器都需要知道 NameNode的地址。DataNode结点会先在NameNode上注册,这样它们的数据才可以被利用。独立的客户端程序通过这个URI跟 DateNode交互,以取得文件的块列表。

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

hadoop.tmp.dir是hadoop文件系统依赖的基础配置,很多路径都依赖它。如果hdfs-site-xml中不配置namenode 和datanode的存放位置,默认就放在这个路径下。

    <!-- 同时还可以指定 日志文件合并的时间,大小边界,对Hadoop 文件进行压缩的方式,文件回收的时间    -->

2、hdfs-site-xml文件

        dfs.replication,它决定着系统里面的文件块的数据备份个数。对于一个实际的应用,它应该被设为3(这个数字并没有上限,但更多的备份可能 并没有作用,而且会占用更多的空间)。少于三个的备份,可能会影响到数据的可靠性(系统故障时,也许会造成数据丢失)。

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hdfs/tmp</value>

</property>


      dfs.data.dir这是DataNode结点被指定存储数据的本地文件系统路径。DataNode结点上的这个路径没必要完全相同。因为每台机器的 环境很可能是不一样的。但如果每台机器上的这个路径都是统一配置的话,工作会变得简单一些。默认情况下,它的值是Hadoop.temp.dir,这个路 径只能用于测试的目的,因为,他很可能会丢失掉一些数据,所以,这个值最好还是被覆盖。

      dfs.name.dir 这是NameNode结点存储Hadoop文件信息的本地系统路径。这个值只对NameNode有效,DataNode并不需要使用它。上面对于/tmp的警告同样使用于这里。在实际应用中,它最好被覆盖掉。


      <property>

          <name>dfs.name.dir</name>

          <value>/home/hdfs/name</value>

</property>

  <property>

      <name>dfs.data.dir</name>

      <value>/home/hdfs/data</value>

</property>

 

<!-- 指定nameNode文件的存储位置,dfs.name.dir-->
<!-- 指定datanode文件的存储位置,dfs.data.dir-->
<!-- 指定nameNode 网络断的主机端口,dfs.dfs.address-->
<!-- 指定文件的备份数量,由NameNode 的数量来决定 dfs.replication-->
<!-- 指定块大小 dfs.block.size-->

Hadoop 配置文件简介

标签:

原文地址:http://www.cnblogs.com/plxx/p/4513306.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!