HDFS小文件问题及解决方案：http://dongxicheng.org/mapreduce/hdfs-small-files-solution/Hadoop升级方案（一）：Hadoop
1.0内部版本升级（初稿）：http://dongxicheng.org/mapreduce-nextgen/...
分类：
其他好文 时间：
2014-05-10 02:08:24
阅读次数：
327
单词计数是最简单也是最能体现MapReduce思想的程序之一，可以称为MapReduce版"Hello
World"，该程序的完整代码可以在Hadoop安装包的"src/examples"目录下找到。单词计数主要完成功能是：统计一系列文本文件中每个单词出现的次数，如下图所示。现在我们以"hadoop...
分类：
其他好文 时间：
2014-05-10 01:54:48
阅读次数：
445
HBase 系统架构图 组成部件说明 Client： 使用HBase
RPC机制与HMaster和HRegionServer进行通信 Client与HMaster进行通信进行管理类操作
Client与HRegionServer进行数据读写类操作 ...
分类：
其他好文 时间：
2014-05-10 01:35:29
阅读次数：
310
Hadoop
MapReduce开发最佳实践（上篇）本文是Hadoop最佳实践系列第二篇，上一篇为《Hadoop管理员的十个最佳实践》。MapRuduce开发对于大多数程序员都会觉得略显复杂，运行一个WordCount（Hadoop中hello
word程序）不仅要熟悉MapRuduce模型，还要了...
分类：
其他好文 时间：
2014-05-08 21:45:46
阅读次数：
640
关于HBase的sink的所有内容均在org.apache.flume.sink.hbase包下。
每个sink包括自己定制的，都extends AbstractSink implements Configurable。
一、首先是configure(Context context)方法。该...
分类：
其他好文 时间：
2014-05-05 10:55:40
阅读次数：
462
1.核心 HDFS 分布式文件系统 主从结构，一个namenoe和多个datanode，
分别对应独立的物理机器
1)NameNode是主服务器，管理文件系统的命名空间和客户端对文件的访问操作。NameNode执行文件系统的命名空间操作，比如打开关闭重命名文件或者目录等，它也负责...
分类：
其他好文 时间：
2014-05-05 10:35:14
阅读次数：
432
转自:http://blog.csdn.net/bluesky8640/article/details/6945776之前装python、jdk、hadoop都是用的root账户，这是一个绝对的失策，linux对用户访问权限很严格，新创的hod账户根本无法启动hadoop，而root在hod模式下使...
分类：
系统相关 时间：
2014-05-05 10:09:20
阅读次数：
753
下面介绍Hbase的缓存机制：
a.HBase在读取时，会以Block为单位进行cache，用来提升读的性能
b.Block可以分类为DataBlock(默认大小64K,存储KV)、BloomBlock(默认大小128K,存储BloomFilter数据)、IndexBlock(默认大小12...
分类：
其他好文 时间：
2014-05-05 09:43:42
阅读次数：
439
为什么要用Hbase-
Hbase的诞生是因为现有的关系型数据库已经无法在硬件上满足疯狂增长的数据了，而且因为需要实时的数据提取Memcached也无法满足-
Hbase适合于无结构或半结构化数据，适合于schema变动的情况- Hbase天生适合以时间轴做查询 Werner Vogels，可以关注...
分类：
其他好文 时间：
2014-05-05 09:42:41
阅读次数：
560
前段时间有一个业务需求，要在外网商品（TOPB2C）信息中加入联营自营识别的字段。但存在的一个问题是，商品信息和自营联营标示数据是两份数据；商品信息较大，是存放在hbase中。他们之前唯一的关联是url。所以考虑用url做key将两者做join，将联营自营标识信息加入的商品信息中，最终生成我需要的数...
分类：
其他好文 时间：
2014-05-04 10:02:22
阅读次数：
565
