码迷,mamicode.com
首页 >  
搜索关键字:kettle hbase    ( 4514个结果
淘宝在hbase中的应用和优化
本文来自于NoSQLFan联合作者@koven2049,他在淘宝从事Hadoop及HBase相关的应用和优化。对Hadoop、HBase都有深入的了解,本文就是其在工作中对HBase的应用优化小结,分享给大家。 目 录 [ - ] 前言原因应用情况部署、运维和监控测试与发布改进和优化将来计划 前言 hbase是从 hadoop中分离出来的apache顶级开源项目。由...
分类:其他好文   时间:2014-06-05 08:43:04    阅读次数:275
HBase协处理器
说明:类似于RDBMS中触发器,允许用户在region服务器上运行自己的代码,在客户端用户不用关心操作具体在哪进行使用场景:权限控制,回调函数(钩子函数)、扫描统计等主要类:observer和endpointobserver:类似触发器,回调函数在特定事件发生时执行endpoint:类似数据库存储过...
分类:其他好文   时间:2014-06-03 13:22:54    阅读次数:229
Hadoop与HBase中遇到的问题(续)java.io.IOException: Non-increasing Bloom keys异常
在使用Bulkload向HBase导入数据中, 自己编写Map与使用KeyValueSortReducer生成HFile时, 出现了下面的异常: java.io.IOException: Non-increasing Bloom keys: 201301025200000000000003520000000000000500 after 20131119510000000000000001...
分类:编程语言   时间:2014-06-03 05:55:44    阅读次数:359
Hbase在数据统计中的应用心得
1. 数据统计的需求 互联网上对于数据的统计,一个重要的应用就是对网站站点数据的统计,例如CNZZ站长统计、百度统计、Google Analytics、量子恒道统计等等。 网站站点统计工具无外乎有以下一些功能: 1)网站流量统计:包括PV、UV、IP等指标,这些统计指标可以以趋势图的形式展示出来,如最近一周、最近一个月等。 2)IP来源信息统计:记录各个来源IP下的访问PV...
分类:其他好文   时间:2014-06-03 01:33:36    阅读次数:226
Phoenix——实现向HBase发送标准SQL语句
写在前面一: 本文总结基于HBase的SQL查询系统——Salesforce phoenix 写在前面二: 环境说明: 一、什么是Phoenix 摘自官网: Phoenix是一个提供hbase的sql操作的框架,Phoenix是构建在HBase之上的一个SQL中间层。Phoenix完全使用Java编写,代码位于GitHub上,并且提供了一个客户端可嵌入的JD...
分类:数据库   时间:2014-06-01 14:05:11    阅读次数:403
HBase Region的flush过程
触发region flush的因素有很多,如手动触发,memstore压力触发,memstore到达限制触发,flush时间触发等。regionserver的flush由flush实际操作步骤为 1.获得region写锁,将region的所有store执行prepare,产生snapshort,释....
分类:其他好文   时间:2014-05-31 21:57:30    阅读次数:317
HBase的JavaAPI使用
Java Client API OverviewHBase是用Java写的,支持用编程语言来动态操作管理数据库,能用命令行做的都能够用API来做。主要的使用步骤例如以下:1.创建一个 Configuration 对象–从 HDFS 对象中调用 Configuration–加入 HBase 属性Con...
分类:编程语言   时间:2014-05-31 20:13:17    阅读次数:370
hadoop备战:hadoop,hbase兼容版本号汇总
Hbase的安装须要考虑Hadoop的版本号,即兼容性。有不足的希望能指出。下面考究官网得到的,关于hadoop版本号和hbase版本号可到下面网址中下载:http://mirror.bit.edu.cn/apache/hbaseHBase-0.92.xHBase-0.94.xHBase-0.96....
分类:其他好文   时间:2014-05-31 15:24:19    阅读次数:377
Solr与HBase架构设计
本篇是本人在做一个大数据项目时,对于系统架构的一点总结,如何在保证存储量的情况下,又能保证数据的检索速度。
分类:其他好文   时间:2014-05-30 20:34:01    阅读次数:405
HBase Client API使用入门(二)---查询及过滤器
相关知识创建表插入数据删除等见:http://www.cnblogs.com/wishyouhappy/p/3735077.htmlHBase API简介见:http://www.cnblogs.com/wishyouhappy/p/3753347.html按行、列簇等查询package wish....
分类:Windows程序   时间:2014-05-28 01:43:17    阅读次数:574
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!