一、对于服务器端的搭建可以参考上一篇文章：kafka单机版环境搭建与测试
服务器端IP ：10.0.30.221
运行环境的目录如下：
需要改动config文件夹下的server.properties中的以下两个属性
zookeeper.connect=localhost:2181改成zookeeper.connect=10.0.30.221:2181
以及默认注释掉的
#host...
HBase 系统架构图 组成部件说明 Client： 使用HBase
RPC机制与HMaster和HRegionServer进行通信 Client与HMaster进行通信进行管理类操作
Client与HRegionServer进行数据读写类操作 ...
分类：
其他好文 时间：
2014-05-10 01:35:29
阅读次数：
310
需求描述考虑直接在Hive或者Impala等Big
Data方案，能够支持MDX查询，现调研一下Mondrian对hive的支持情况。环境准备hive环境，采用hive-0.10-cdh4.2.1
客户端程序使用的类库：mondrian-3.6.0、olap4j-1.2.0-SNAPSHOT数据准备...
分类：
其他好文 时间：
2014-05-09 18:15:58
阅读次数：
494
版本：cdh5.0.0+hadoop2.3.0+hive0.12一、原始数据：1. 本地数据[root@node33 data]# ll
total 12936
-rw-r--r--. 1 root root 13245467 May 1 17:08 hbase-data.csv
[root@node33 data]# head -n 3 hbase-data.csv
1,1.52101,13...
分类：
其他好文 时间：
2014-05-06 22:24:07
阅读次数：
437
马哥课程的学习任务：RHCE+RHCA+shell编程+MySQL+Web集群+NoSQL+Hadoop+Hbase+Openstack。1基础（RHCE):RH033RH133RH2532RHCA:RH401RH423(LDAP)RH442(系统调优）RH436RHS3333MySQL4NoSQL5系统工程师：是指具备较高专业技术水平，能够分析商业需求，并使用各种系统平台和服务器..
分类：
系统相关 时间：
2014-05-06 17:15:49
阅读次数：
479
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
最常用的就是多表关联查询，主要讲解下join、outer join和semi join的具体使用。
join是最简单的关联操作，两边关联只取交集。
outer join分为left outer join、rig...
分类：
其他好文 时间：
2014-05-06 15:01:38
阅读次数：
269
关于HBase的sink的所有内容均在org.apache.flume.sink.hbase包下。
每个sink包括自己定制的，都extends AbstractSink implements Configurable。
一、首先是configure(Context context)方法。该...
分类：
其他好文 时间：
2014-05-05 10:55:40
阅读次数：
462
下面介绍Hbase的缓存机制：
a.HBase在读取时，会以Block为单位进行cache，用来提升读的性能
b.Block可以分类为DataBlock(默认大小64K,存储KV)、BloomBlock(默认大小128K,存储BloomFilter数据)、IndexBlock(默认大小12...
分类：
其他好文 时间：
2014-05-05 09:43:42
阅读次数：
439
为什么要用Hbase-
Hbase的诞生是因为现有的关系型数据库已经无法在硬件上满足疯狂增长的数据了，而且因为需要实时的数据提取Memcached也无法满足-
Hbase适合于无结构或半结构化数据，适合于schema变动的情况- Hbase天生适合以时间轴做查询 Werner Vogels，可以关注...
分类：
其他好文 时间：
2014-05-05 09:42:41
阅读次数：
560
前段时间有一个业务需求，要在外网商品（TOPB2C）信息中加入联营自营识别的字段。但存在的一个问题是，商品信息和自营联营标示数据是两份数据；商品信息较大，是存放在hbase中。他们之前唯一的关联是url。所以考虑用url做key将两者做join，将联营自营标识信息加入的商品信息中，最终生成我需要的数...
分类：
其他好文 时间：
2014-05-04 10:02:22
阅读次数：
565
