所谓“时间相关多列数据”指的是同一个Key下具有多个属性数据,并且这些数据与时间具有相关性,多数场景是该Key对应在不同时间时刻的行为数据。在实际应用中,这类数据很多,例如电子商务网站上用户最近一段时间浏览的宝贝集合、访问的URL列表等。使用HBase存储此类数据时,有以下两种常用的方案:多行单列表...
分类:
其他好文 时间:
2014-07-06 21:25:23
阅读次数:
175
二级索引与索引Join是多数业务系统要求存储引擎提供的基本特性,RDBMS早已支持,NOSQL阵营也在摸索着符合自身特点的最佳解决方案。这篇文章会以HBase做为对象来讨论如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版secondary index,IT...
分类:
其他好文 时间:
2014-07-06 21:18:54
阅读次数:
176
直接贴代码啦
/**
*
* @param zkIp
* @param zkPort
* @param tablename
* @param startRow 传null扫全表
* @param stopRow 已~结尾
* @throws Exception
*/
public static void scanTable(String zkIp,Stri...
Facebook最近公布了Apollo,它是Facebook的一种类似于Paxos的NoSQL数据库。Apollo构建于ApacheThrift2RPC框架,采用C++11开发,是一种分层存储系统,所有数据被划分到Shard,非常类似于HBase中的区域服务器。它最大的好处是在线低延迟存储,特别是在Flash和内存中。区别于面向..
分类:
数据库 时间:
2014-07-05 23:05:16
阅读次数:
377
根据java商城开发工作人员的介绍,Cassandra与HBase都是NoSQL数据库。而在jsp商城开发以及java商城产品开发的总体上看,这意味着用户无法使用SQL数据库。不过,Cassandra使用的是CQL(Cassandra 查询语言),其语法有明显模仿SQL的痕迹。
分类:
其他好文 时间:
2014-07-05 20:35:18
阅读次数:
187
背景是设计一个实时数据接入的模块,负责接收客户端的实时数据写入(如日志流,点击流),数据支持直接下沉到HBase上(后续提供HBase上的查询),或先持久化到Kafka里,方便后续进行一些计算和处理,再下沉到文件系统或做别的输出。
在设计中,对于客户端和服务端有这么些目标。
客户端需要支持多语言(Java,C++),做得尽量轻量级,只要连上服务端的ip:port,以RPC的形式调用简单的write就可以把数据写出去。客户端不承担任何逻辑的处理,服务端的负载均衡对客户端是透明的。
服务端想要做的是一个去中心...
分类:
其他好文 时间:
2014-07-04 08:59:19
阅读次数:
552
HBase Shell
HBase shell使用起来最方便,进入HBase shell控制台即可使用。
$ $HBASE_HOME/bin/hbase shell
常见操作有create(创建表)/put(插入或更新数据)/get(根据rowkey查询)/scan(范围查询)/delete(删除列)/deleteAll(根据rowkey删除整行数据)/disable&drop(禁用表之后再...
分类:
编程语言 时间:
2014-07-04 08:12:54
阅读次数:
383
触发器表输入:selecta.*,b.*,0asztflagfromexchange_triggeraleftjoinMAEA_NET_BIZ_BASEINFObon(a.keyvalue=b.id)wherea.flag=0anda.tablename=‘MAEA_NET_BIZ_BASEINFO‘附件处理脚本://Scriptherevarbyte_FILEDATA=null;if(FILEDATA!=null&&FILEDATA!=‘‘){varbb=newP..
分类:
其他好文 时间:
2014-07-04 06:17:57
阅读次数:
279
之前一直用phpHiveAdmin,也一直在关注hue,最近打算调研一下hue,hue在最近两年发展很快,页面效果和功能上都有很大程度的提升,所支持的服务也越来越多,除了hive,hbase,目前还支持sqoop,impala,pig等。hue的一个大致架构如下图所示核心服务是HueServer,在本地使用SQLLite作..
分类:
其他好文 时间:
2014-07-04 06:16:59
阅读次数:
469
需要列转行的数据分为两种:有主键和无主键,先说无主键的转以前的内容转以后的内容看到了吧,转过来了,好来张整体流程图开始分析:第一个图标打开后为这是第一步里面主要的一步,这里配置好了就可以进行第二步了。因为没有主键,所以要给城市那一列添加一个相同的主键,这样..
分类:
其他好文 时间:
2014-07-04 00:59:23
阅读次数:
267