1.常用的一些Shell再好的博客，都不如官方文档好用：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html
分类：
系统相关 时间：
2014-12-02 20:30:29
阅读次数：
193
在client向DataNode写入block之前，会与NameNode有一次通信，由NameNode来选择指定数目的DataNode来存放副本。具体的副本选择策略在BlockPlacementPolicy接口中，其子类实现是BlockPlacementPolicyDefault。该类中会有多个.....
分类：
其他好文 时间：
2014-12-02 13:17:53
阅读次数：
162
loaddatalocalinpathoverwriteintotablestudent;关键字local表明数据从localdisk中读取，如果没有此关键字，则数据从hdfs中读龋关键字keyword表明先删除表中的数据，然后再插入数据。如果没有这个关键字，则表明是append的方式。Note:1.load不会检验要load的data是否符合shema..
分类：
其他好文 时间：
2014-11-30 17:08:30
阅读次数：
153
官方API链接地址：http://hadoop.apache.org/docs/current/一、什么是HDFS？ HDFS(Hadoop distributed file system):Hadoop上面的通用的分布式文件系统，具有高容错，高吞吐量的特性，同时它也是Hadoop的核心。二、Had...
分类：
其他好文 时间：
2014-11-30 06:23:02
阅读次数：
164
1.hbase利用hdfs作为其文件存储系统，利用mapreduce来处理数据，利用zookeeper作为协调工具
2.行键（row key），类似于主键，但row key是表自带的
3.列族（column family） ,列（也称作标签/修饰符）的集合，定义表的时候指定的，列是在插入记录的时候动态增加的
hbase表中的数据，每个列族单独一个文件
4.timestamp 是列的一个属性...
分类：
其他好文 时间：
2014-11-30 00:41:00
阅读次数：
158
HDFS案例代码Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoop000:8020"), configuration); ...
分类：
其他好文 时间：
2014-11-29 18:56:03
阅读次数：
310
hdfs默认基本存储单元为64mb，hdfs的块比磁盘的块大得多，是为了减少寻址开销。如块大小是100mb，寻址时间在10ms，传输速率是100mb/s，则寻址时间是传输时间的1%hdfs的三个重要角色：client，datanode，namenodenamenode相当于hdfs中的管理者，管理文...
分类：
其他好文 时间：
2014-11-29 11:48:00
阅读次数：
140
从今天开始，开始研究学习Hadoop Common相关的源码结构。Hadoop Common在Hadoop1.0中是在core包下面的。此包下面的内容供HDFS和MapReduce公用，所以作用还是非常大的。Hadoop Common模块下的内容是比较多的。本人打算在后面的学习中挑选部分模块进行分析学习，比如他的序列化框架的实现，RPC的实现等等。我对此模块截出了一些图：...
分类：
其他好文 时间：
2014-11-29 09:02:17
阅读次数：
284
HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。1. 简介HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtab...
分类：
系统相关 时间：
2014-11-27 22:00:10
阅读次数：
291
UCBerkeley研发的Tachyon(超光子['tæki???n]，名字要不要这么太嚣张啊：)是一款为各种集群并发计算框架提供内存数据管理的平台，也可以说是一种内存式的文件系统吧。如下图，它就处于这样一个层次：在现有存储系统如HDFS之上，在Spark，MapReduce，Impala等各种计算框架之下。为什么要有这么一个框架呢？MapReduce就不说了，但像Spark这种内存计算框架，为什...
分类：
其他好文 时间：
2014-11-27 20:29:10
阅读次数：
287
