分布式文件系统HDFS--NameNode体系结构NameNode是整个文件系统的管理节点。它维护着整个文件系统的文件目录树[为了使得检索速度更快,该目录树放在内存中]， 文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。Hadoop确保了NameNode的健壮性,不容易死亡.文件目录树以及文件/目录的元信息等归根到底是存放在硬盘中的,但是在Hadoop运行时,需要将其加载到内存中...
分类：
其他好文 时间：
2014-08-08 18:10:26
阅读次数：
198
在Hadoop的HDFS部署好了之后并不能马上使用，而是先要对配置的文件系统进行格式化。在这里要注意两个概念，一个是文件系统，此时的文件系统在物理上还不存在，或许是网络磁盘来描述会更加合适；二就是格式化，此处的格式化并不是指传统意义上的本地磁盘格式化，而是一些清除与准备工作。本文接下来将主要讨论Na...
分类：
其他好文 时间：
2014-08-07 18:30:50
阅读次数：
264
namenode跟secondarynamenode的执行过程...
分类：
其他好文 时间：
2014-08-06 23:09:42
阅读次数：
330
一、 hdfs默认存储基本单位是64M的数据块，若一个文件小于64M，则该文件不会占用整个数据块。二、HDFS体系结构 1、元数据节点（Namenode） 主控制服务器，管理文件系统的命名空间，包括打开、关闭、重命名文件和目录。 NameNode将数据块映射到DataNode，...
分类：
其他好文 时间：
2014-08-06 17:38:21
阅读次数：
249
TODO: 还有没搞清楚的地方。 1、为了方便演示，先做好namenode检查点的配置。见控制namenode检查点发生的频率。 2、启动hadoop，保证所有节点都正常。 3、将namenode节点上dfs.name.dir 指定目录(即 name 目录)中...
分类：
其他好文 时间：
2014-08-05 19:43:40
阅读次数：
197
1、关闭集群 2、通过修改core-site.xml ??<property>
????<name>fs.checkpoint.period</name>
????<value>180</value><!--单位为秒-->
??</property>
??<property>
????<name>fs.checkpoint.d...
分类：
其他好文 时间：
2014-08-04 14:48:57
阅读次数：
202
格式化namenode后，通过jps可发现datanode没有启动成功，查看datanode上的日志/home/wukong/usr/hadoop-1.2.1/logs/hadoop-wukong-datanode-bd12.log，可以发现是namespaceid不对。 解决办法： 1、查看namenode上...
分类：
其他好文 时间：
2014-08-03 23:37:06
阅读次数：
661
HDFS2.0之HA主备NameNode： 1、主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待切换； 2、主NameNode的信息发生变化后，会将信息写到共享数据存储系统中让备NameNode合并到自己的内存中； 3、所有DataNode同时向两个Name...
分类：
其他好文 时间：
2014-08-02 17:53:53
阅读次数：
383
在文章《Ubuntu和CentOS中分布式配置Hadoop-2.2.0》介绍了hadoop 2.2.0最基本的配置。hadoop 2.2.0中提供了HA的功能，本文在前文的基础上介绍hadoop 2.2.0HA的配置。
说明：
下文中的两台namenode机器名分别是namenode1和namenode2.其中namenode1为active node，namenode2为standby na...
分类：
其他好文 时间：
2014-08-01 19:48:22
阅读次数：
243
jpshadoop namenode -formatdfs directory : /home/hadoop/dfs --data --current/VERSION#Wed Jul 30 20:41:03 CST 2014storageID=DS-ab96ad90-7352-4cd5-a0de.....
分类：
其他好文 时间：
2014-07-30 23:16:25
阅读次数：
228
