在Hadoop中fsimage保存最新的检查点信息，edits保存自最新检查点后的命名空间的变化。在分析hdfs namenode–format的源代码时，已经明确了该过程根据配置文件的信息创建fsimage和edits文件，这篇文章具体分析一下创建fsimage和edits文件的源代码。...
分类：
其他好文 时间：
2014-09-24 17:22:37
阅读次数：
210
namevalueDescriptiondfs.default.chunk.view.size32768namenode的http访问页面中针对每个文件的内容显示大小，通常无需设置。dfs.datanode.du.reserved1073741824每块磁盘所保留的空间大小，需要设置一些，主要是给非...
分类：
其他好文 时间：
2014-09-24 13:11:26
阅读次数：
175
作者：张华 发表于：2014-06-21版权声明：能够随意转载，转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明(http://blog.csdn.net/quqi99 ) 作者将又一次研究ceph, 先温习一下之前作者大半年前发表在openstack中国社区的一篇理论文章(http:...
分类：
编程语言 时间：
2014-09-23 21:08:55
阅读次数：
886
在启动Hadoop时，NameNode节点上会默认启动一个SecondaryNameNode进程，使用JSP命令可以查看到。SecondaryNameNode光从字面上理解，很容易让人认为是NameNode的热备进程。其实不是，SecondaryNameNode是HDFS架构中的一个组成部分。它并不...
分类：
其他好文 时间：
2014-09-23 00:54:43
阅读次数：
273
开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套....
分类：
Web程序 时间：
2014-09-22 20:46:13
阅读次数：
286
shell操作命令：hdfs的路径，在core-site.xml中定义fs.default.namehdfs://master.hadoop:9000 master.hadoop namenode主机名用/ 代替当前绝对路径hadoop fs -ls / 查看hdfs的根目录下的内容hadoop ....
分类：
其他好文 时间：
2014-09-22 18:45:42
阅读次数：
161
HDFS 对外提供了可供访问的http server，开放了很多端口，下面介绍常用的几个端口（http://hadoop：……）。一、50070 端口，查看NameNode 状态，如图1.1所示。图 1.1该端口的定义位于core-default.xml 中，如图1.2所示，读者可以在core-si...
分类：
其他好文 时间：
2014-09-21 11:04:30
阅读次数：
261
这里面说的read既包括get，也包括scan，实际底层来看这两个操作也是一样的。我们将要讨论的是，当我们从一张表读取数据的时候hbase到底是怎么处理的。分二种情况来看，第一种就是表刚创建，所有put的数据还在memstore中，并没有刷新到hdfs上；第二种情况是，该store已经进行多次的fl...
分类：
其他好文 时间：
2014-09-21 00:08:49
阅读次数：
623
一、搭建Hadoop 开发环境 我们在工作中写完的各种代码是在服务器中运行的，HDFS 的操作代码也不例外。在开发阶段，我们使用windows 下的eclipse 作为开发环境，访问运行在虚拟机中的HDFS。也就是通过在本地的eclipse 中的java 代码访问远程linux 中的hdfs。要使....
分类：
编程语言 时间：
2014-09-20 17:17:39
阅读次数：
271
