1. HDFS Federation产生背景 在Hadoop 1.0中，HDFS的单NameNode设计带来诸多问题，包括单点故障、内存受限制约集群扩展性和缺乏隔离机制（不同业务使用同一个NameNode导致业务相互影响）等，为了解决这些问题，Hadoop 2.0引入了基于共享存储的HA解决方案和H...
分类：
其他好文 时间：
2014-09-19 22:19:46
阅读次数：
542
一、HDFS的shell命令简介我们都知道HDFS 是存取数据的分布式文件系统，那么对HDFS 的操作，就是文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS 的操作命令类似于lLinux 的shell 对文件的操作，如ls、mkdir、rm 等。我...
分类：
其他好文 时间：
2014-09-19 17:03:45
阅读次数：
334
本文用到了查看hadoop源码，关于hadoop源码导入Eclipse方式见第一期一、HDFS的背景介绍 随着数据量越来越大，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。 学术一.....
分类：
其他好文 时间：
2014-09-18 23:33:44
阅读次数：
260
HDFS作为Hadoop中 的一个分布式文件系统，而且是专门为它的MapReduce设计，所以HDFS除了必须满足自己作为分布式文件系统的高可靠性外，还必须为 MapReduce提供高效的读写性能，那么HDFS是如何做到这些的呢？首先，HDFS将每一个文件的数据进行分块存储，同时每一个数据块又保存有...
分类：
其他好文 时间：
2014-09-18 13:09:33
阅读次数：
309
准备知识：1.在InputFormat<k,v>这个接口中，有两个方法，InputSplit[]getSplits();RecordReader<k,v>getRecordReader();2.mapreduce作业提交与初始化过程。作业提交：（1）命令行提交。。。。（2）获取作业ID,创建HDFS目录（你指定的存放结果的目录）上传文件到HD..
分类：
其他好文 时间：
2014-09-16 19:08:21
阅读次数：
231
/*sapMemory328KTime454MS*/#include#includeusingnamespacestd;#defineMAXV110#defineINF1b?b:a)intn,c[MAXV][MAXV],r[MAXV][MAXV],source,sink;intdis[MAXV],m...
分类：
其他好文 时间：
2014-09-15 17:24:39
阅读次数：
207
Sqoop2Intermediate representation
在Sqoop2的connector中提供了自己的map处理，map用于导入数据到HDFS。因为这段代码将完全被connector维护，所以，我们需要找到一个适用所有connector和所有情况的中间格式（map output）。本文的目标是比较不同的中间数据格式（intermediate representation），以使我们...
分类：
其他好文 时间：
2014-09-15 11:21:18
阅读次数：
246
上传的文件放在SVN服务器的哪个目录下
SVN服务器版本库有两种格式,
一种为FSFS,
一种为BDB
把文件上传到SVN版本库后,上传的文件不再以文件原来的格式存储,而是被svn以它自定义的格式压缩成版本库数据,存放在版本库中。
如果是FSFS格式，这些数据存放在版本库的db目录中，里面的revs和revprops分别存放着每次提交的差异数据和日志等信息...
分类：
其他好文 时间：
2014-09-15 01:06:17
阅读次数：
179
