码迷,mamicode.com
首页 >  
搜索关键字:kettle hbase    ( 4514个结果
HBase存储时间相关多列数据的两种方案
所谓“时间相关多列数据”指的是同一个Key下具有多个属性数据,并且这些数据与时间具有相关性,多数场景是该Key对应在不同时间时刻的行为数据。在实际应用中,这类数据很多,例如电子商务网站上用户最近一段时间浏览的宝贝集合、访问的URL列表等。使用HBase存储此类数据时,有以下两种常用的方案:多行单列表...
分类:其他好文   时间:2014-07-06 21:25:23    阅读次数:175
hbase二级索引
二级索引与索引Join是多数业务系统要求存储引擎提供的基本特性,RDBMS早已支持,NOSQL阵营也在摸索着符合自身特点的最佳解决方案。这篇文章会以HBase做为对象来讨论如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版secondary index,IT...
分类:其他好文   时间:2014-07-06 21:18:54    阅读次数:176
HBase-scan API 通过scan读取表中数据
直接贴代码啦 /** * * @param zkIp * @param zkPort * @param tablename * @param startRow 传null扫全表 * @param stopRow 已~结尾 * @throws Exception */ public static void scanTable(String zkIp,Stri...
分类:Windows程序   时间:2014-07-06 09:04:44    阅读次数:348
Apollo数据库,在线低延迟存储的NoSQL数据库
Facebook最近公布了Apollo,它是Facebook的一种类似于Paxos的NoSQL数据库。Apollo构建于ApacheThrift2RPC框架,采用C++11开发,是一种分层存储系统,所有数据被划分到Shard,非常类似于HBase中的区域服务器。它最大的好处是在线低延迟存储,特别是在Flash和内存中。区别于面向..
分类:数据库   时间:2014-07-05 23:05:16    阅读次数:377
Cassandra与HBase之间的不同之处
根据java商城开发工作人员的介绍,Cassandra与HBase都是NoSQL数据库。而在jsp商城开发以及java商城产品开发的总体上看,这意味着用户无法使用SQL数据库。不过,Cassandra使用的是CQL(Cassandra 查询语言),其语法有明显模仿SQL的痕迹。
分类:其他好文   时间:2014-07-05 20:35:18    阅读次数:187
一个轻客户端,多语言支持,去中心化,自动负载,可扩展的实时数据写服务的实现方案讨论
背景是设计一个实时数据接入的模块,负责接收客户端的实时数据写入(如日志流,点击流),数据支持直接下沉到HBase上(后续提供HBase上的查询),或先持久化到Kafka里,方便后续进行一些计算和处理,再下沉到文件系统或做别的输出。 在设计中,对于客户端和服务端有这么些目标。 客户端需要支持多语言(Java,C++),做得尽量轻量级,只要连上服务端的ip:port,以RPC的形式调用简单的write就可以把数据写出去。客户端不承担任何逻辑的处理,服务端的负载均衡对客户端是透明的。 服务端想要做的是一个去中心...
分类:其他好文   时间:2014-07-04 08:59:19    阅读次数:552
读书笔记-HBase in Action-第二部分Advanced concepts-(3)非Java客户端
HBase Shell HBase shell使用起来最方便,进入HBase shell控制台即可使用。 $ $HBASE_HOME/bin/hbase shell 常见操作有create(创建表)/put(插入或更新数据)/get(根据rowkey查询)/scan(范围查询)/delete(删除列)/deleteAll(根据rowkey删除整行数据)/disable&drop(禁用表之后再...
分类:编程语言   时间:2014-07-04 08:12:54    阅读次数:383
Kettle笔记: Transformation 笔记
触发器表输入:selecta.*,b.*,0asztflagfromexchange_triggeraleftjoinMAEA_NET_BIZ_BASEINFObon(a.keyvalue=b.id)wherea.flag=0anda.tablename=‘MAEA_NET_BIZ_BASEINFO‘附件处理脚本://Scriptherevarbyte_FILEDATA=null;if(FILEDATA!=null&&FILEDATA!=‘‘){varbb=newP..
分类:其他好文   时间:2014-07-04 06:17:57    阅读次数:279
hue3.5.0使用初探(cdh版本)
之前一直用phpHiveAdmin,也一直在关注hue,最近打算调研一下hue,hue在最近两年发展很快,页面效果和功能上都有很大程度的提升,所支持的服务也越来越多,除了hive,hbase,目前还支持sqoop,impala,pig等。hue的一个大致架构如下图所示核心服务是HueServer,在本地使用SQLLite作..
分类:其他好文   时间:2014-07-04 06:16:59    阅读次数:469
kettle中denormalizer(列转行)的使用
需要列转行的数据分为两种:有主键和无主键,先说无主键的转以前的内容转以后的内容看到了吧,转过来了,好来张整体流程图开始分析:第一个图标打开后为这是第一步里面主要的一步,这里配置好了就可以进行第二步了。因为没有主键,所以要给城市那一列添加一个相同的主键,这样..
分类:其他好文   时间:2014-07-04 00:59:23    阅读次数:267
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!