HBase的二级索引，以及phoenix的安装（需再做一次） 一：HBase的二级索引 1.讲解 uid+ts 11111_20161126111111:查询某一uid的某一个时间段内的数据 查询某一时间段内所有用户的数据：按照时间 索引表 rowkey：ts+uid 20161126111111— ...
分类：
其他好文 时间：
2017-08-22 23:20:39
阅读次数：
190
Hbase中rowkey设计原则 1.热点问题 在某一时间段，有大量的数据同时对一个region进行操作 2.原因 对rowkey的设计不合理 对rowkey的划分不合理 3.解决方式 rowkey是hbase的读写唯一标识 最大长度是64KB。 4.核心原则 设计必须按照业务需求进行设计 5.长度 ...
分类：
其他好文 时间：
2017-08-22 23:13:24
阅读次数：
191
HBase的一级索引就是rowkey，我们仅仅能通过rowkey进行检索。假设我们相对hbase里面列族的列列进行一些组合查询。就须要採用HBase的二级索引方案来进行多条件的查询。 常见的二级索引方案有下面几种： 1.MapReduce方案 2.ITHBASE方案 3.IHBASE方案 4.Cop ...
分类：
其他好文 时间：
2017-08-09 09:57:35
阅读次数：
234
一个简单粗暴的方法从MySQL数据库抽取数据到Hbase实现的过程:rowKey利用MySQL表的主键ID特性作为HBASE的idcode:#####!/usr/bin/envpython#coding=utf-8importsysreload(sys)sys.setdefaultencoding(‘utf-8‘)importMySQLdbimportdatetime,timesys.path.append(‘/usr/lib/python2..
分类：
数据库 时间：
2017-07-22 22:30:12
阅读次数：
257
最最常用的指令： 1.查看hbase有什么表 list 2.创建一个表： create '表名'， ‘字段1’， ‘字段二’，。。。 3.往表中插入一条数据：put '表名'，‘rowkey’，‘字段一：’，‘字段一栏目一名称’，‘字段一栏目一’，..... 4.查看整个表某列的内容：scan '表 ...
分类：
其他好文 时间：
2017-07-01 13:44:33
阅读次数：
190
创建HBase的Hive外部表 1: create external table ttt(rowkey string,info map)STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ... ...
分类：
其他好文 时间：
2017-06-29 13:33:47
阅读次数：
240
去年8月给我们平台封装了Hbase接口，一直想写一些关于hbase的，现在终于写了点。附思维导图一张 一、HBase基本概念 RowKey：是Byte array，是表中每条记录的“主键”，方便快速查找，Rowkey的设计非常重要。Column Family：列族，拥有一个名称(string)，包含 ...
分类：
其他好文 时间：
2017-06-14 22:19:11
阅读次数：
396
kafka+storm+hbase实现计算WordCount。 （1）表名：wc （2）列族：result （3）RowKey：word （4）Field：count 1、解决： （1）第一步：首先准备kafka、storm和hbase相关jar包。依赖如下： （2）将kafka发来的数据通过lev ...
分类：
其他好文 时间：
2017-05-29 20:00:24
阅读次数：
355
rowkey rowkey是行的主键，而且hbase只能用个rowkey，或者一个rowkey范围即scan来查找数据。所以 rowkey的设计是至关重要的，关系到你应用层的查询效率。我们知道，rowkey是以字典顺序排序的。而存储的字节码，字典排序，我们知道，如果是字 母，那就是字母的顺序，比如， ...
分类：
其他好文 时间：
2017-05-27 00:49:25
阅读次数：
324
HBase是Apache Hadoop生态系统中的重要一员，它的海量数据存储能力，超高的数据读写性能，以及优秀的可扩展性使之成为最受欢迎的NoSQL数据库之一。它超强的插入和读取性能与它的数据组织方式有着密切的关系，在逻辑上，HBase的表数据按RowKey进行字典排序， RowKey实际上是数据表... ...
分类：
其他好文 时间：
2017-05-09 22:30:57
阅读次数：
249
