HBASE基于coprocessor实现二级索引场景如下:存储UC_TWEETS表,ROWKEY设计:folderId_dayId_siteId_docId,导出有如下需求:根据campaignId导出,所以需要存储campaignId的索引表实现步骤如下:一,代码实现如下:publicclassHbaseCoprocessorextendsBaseRegionObserver{ @Override pub..
分类：
其他好文 时间：
2016-05-10 18:54:32
阅读次数：
158
Phoenix 提供了一个导入海量数据的MapReduce工具 CsvBulkLoadTool，根据官方的说明，使用这个工具可以高效地往hbase导入csv文本数据，内部会使用phoenix api去处理数据，包括数据类型、salt rowkey处理、索引表同步等等。
但是使用这个工具类在导入数据量比较大的情况下reducer阶段却发生了OOM......
分类：
其他好文 时间：
2016-05-07 08:14:30
阅读次数：
220
转自：http://blog.csdn.net/yangbutao/article/details/8394149了解了布隆过滤器作用于HFile之上以及对HFile有了更深层次了解。另有：http://my.oschina.net/zhengyang841117/blog/188723一、HFil...
分类：
其他好文 时间：
2016-01-12 01:10:13
阅读次数：
251
转自：http://www.aboutyun.com/thread-7119-1-1.html对于任何系统的数据设计，我们都想提高性能，达到资源最大化利用，那么对于hbase我们产生如下问题：1.hbase rowkey设计如何才能提高性能？2.hbase rowkey如何设计才能散列到不同的节点上...
分类：
其他好文 时间：
2016-01-10 15:34:06
阅读次数：
187
最近在一个项目中做数据的分类存储，在spark中使用groupByKey后存入HBase，发现数据出现双份（ 所有记录的 rowKey 是随机 唯一的 ） 。经过不断的测试，发现是spark的运行参数配置的问题：spark.speculation=true， 将其改为false，问题就解决了。哎.....
分类：
其他好文 时间：
2016-01-08 20:03:11
阅读次数：
190
转自http://blog.csdn.net/lifuxiangcaohui/article/details/40621067hbase所谓的三维有序存储的三维是指：rowkey（行主键），column key(columnFamily+qualifier)，timestamp(时间戳)三部分组成的...
分类：
其他好文 时间：
2016-01-08 01:54:51
阅读次数：
154
2. RowKey行键设计规范2.1. RowKey四大特性2.1.1 字符串类型虽然行键在HBase中是以byte[]字节数组的形式存储的，但是建议在系统开发过程中将其数据类型设置为String类型，保证通用性；如果在开发过程中将RowKey规定为其他类型，譬如Long型，那么数据的长度将可能受限...
分类：
其他好文 时间：
2015-12-21 17:56:12
阅读次数：
134
Hbase 的ImmutableBytesWritable类型一般作为RowKey的类型;但也有时候会把值读出来;故有了转化为string一说.ImmutableBytesWritable RowKey;byte[] Temp = RowKey.get();String str = Bytes.to...
分类：
编程语言 时间：
2015-12-17 19:00:21
阅读次数：
515
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 HBase（Hadoop Database），是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，只能通过Rowkey来取数...
分类：
数据库 时间：
2015-12-17 12:11:21
阅读次数：
534
DefaultJsonString = @"{\"RowsetRowId\": -1,\ \"OriginalRowid\": -1,\ \"Type\": 0,\ \"_id\": null,\ \"rowkey\": null,\ ...
分类：
Web程序 时间：
2015-12-04 10:44:39
阅读次数：
167
