下面轮到FSNamesystem 出场了。FSNamesystem.java 一共有4573 行，而整个namenode 目录下所有的Java 程序总共也只有16876
行，把FSNamesystem 搞定了，NameNode 也就基本搞定。
FSNamesystem 是NameNode 实际记录信息的地方，保存在FSNamesystem 中的数据有：
文件名数据块列表（存放在FSImage...
分类：
其他好文 时间：
2015-06-03 17:48:37
阅读次数：
118
一 汇总数据 数据太多则很难一口气看完、看懂，除非先进行汇总，否则无法彻底领悟数据的意义。 先从数据分解成基本数据块着手，有了这些数据块，就能观察平均值或其他有用的汇总统计值。二 用Excel制作直方图 工具/加载宏/分析工具库---便将数据分析加载到工具中。 直方图的X轴一般表示某种数据的...
分类：
其他好文 时间：
2015-06-02 21:45:17
阅读次数：
113
内存：1 UNIX资源监控中指标内存页交换速率（Paging rate，使用称为“页面”的单位，将固定大小的代码和数据块从 RAM 移动到磁盘的过程，其目的是为了释放内存空间），如果该值偶尔走高，表明当时有线程竞争内存。如果持续很高，则内存可能是瓶颈。也可能是内存访问命中率低。2Windows资源监...
分类：
其他好文 时间：
2015-06-02 14:54:14
阅读次数：
134
思想比较简单，就是每个通过map来获取当前的数据块中的的topk个数据，然后将他们以相同的key值放到reduce中，最后通过reduce来对这n*k个数据排序并获得topk个数据。具体的就是建立一个k个大小的数组，一开始初始化为都是100（假定这里的100是最大的数），然后往里面插数据小的数据即可...
分类：
其他好文 时间：
2015-06-01 11:26:02
阅读次数：
197
1、中断方式是在数据缓冲寄存区满后，发中断请求，CPU进行中断处理。
2、DMA方式则是以数据块为单位传输的，在所要求传送的数据块全部传送结束时要求CPU进行中断处理，这样大大减少CPU进行中断处理的次数。DMA方式不需CPU干预传送操作，不占用CPU任何资源， 整个数据传输操作在一个称为"DMA控制器"的控制下进行的。CPU除了在数据传输开始和结束时做一点处理外，在传输过程中CPU可以...
分类：
其他好文 时间：
2015-06-01 00:51:31
阅读次数：
103
下面我们来分析FSDirectory。其实分析FSDirectory 最好的地方，应该是介绍完INode*以后，FSDirectory 在INode*的基础
上，保存了HDFS 的文件目录状态。系统加载FSImage 时，FSImage 会在FSDirectory 对象上重建文件目录状态，HDFS 文件目录
状态的变化，也由FSDirectory 写日志，同时，它保存了文件名数据块的映射关系。...
分类：
其他好文 时间：
2015-05-29 18:15:11
阅读次数：
491
一、Linux下删除文件和文件夹常用命令如下：删除文件： rm file删除文件夹： rm -rf dir需要注意的是， rmdir 只能够删除 空文件夹。二、shred彻底删除文件【不是目录】$ shred -u fileshred会用一些随机内容覆盖文件所在的节点和数据块，并删除文件(-u参数)...
分类：
其他好文 时间：
2015-05-29 11:27:01
阅读次数：
138
游标的概念: 游标是SQL的一个内存工作区，由系统或用户以变量的形式定义。游标的作用就是用于临时存储从数据库中提取的数据块。在某些情况下，需要把数据从存放在磁盘的表中调到计算机内存中进行处理，最后将处理结果显示出来或最终写回数据库。这样数据处理的速度才会提高，否则频繁的磁盘数据交换会降低效率。 游....
分类：
数据库 时间：
2015-05-28 17:38:34
阅读次数：
132
问：随着数据库的增大，既然索引的作用那么重要，有谁能抛开具体的数据库来解释一下索引的工作原理？ 答：（我自己来回答这个问题，:o-)） 为什么需要索引数据在磁盘上是以块的形式存储的。为确保对磁盘操作的原子性，访问数据的时候会一并访问所有数据块。磁盘上的这些数据块与链表类似，即它们都包含一个数据 段....
分类：
数据库 时间：
2015-05-27 12:03:22
阅读次数：
136
HDFS的体系框架是Master/Slave结构，一个典型的HDFS通常由单个NameNode和多个DataNode组成。NameNode是一个中心服务器，负责文件系统的名字空间的操作，比如打开、关闭、重命名文件或目录，它负责维护文件路径到数据块的映射，数据块到DataNode的映射，以及监控DataNode的心跳和维护数据块副本的个数。集群中的DataNode一般是一个节点一个，负责管理它所在节...
分类：
其他好文 时间：
2015-05-25 16:46:16
阅读次数：
94
