码迷,mamicode.com
首页 >  
搜索关键字:kettle hbase    ( 4514个结果
Hadoop 2.5.1 + HBase 0.98 单机
Package path:young@ds85:~/something/download=====================================================================1 安装环境代码:sudo apt-get install openssh...
分类:其他好文   时间:2014-11-06 17:08:15    阅读次数:268
Hbase 098.4中使用新API通过Get列表获取多行的列值
在Hbase0.98.4中通过Get列表的方式获取Hbase中多行的列值,本来想使用KeyValue类来处理的,结果发现该类的getRow()和getValue()的两个方法已经废弃了,最终使用新API中的Cell接口来实现,如下:Hbase中测试表中数据如下:hbase(main):005:0>scan‘testtable‘ ROWCOLUMN+CELL ..
分类:Windows程序   时间:2014-11-05 15:06:48    阅读次数:3691
HBase预分区のUniformSplit
如果某个hbase的表查询只是以随机查询为主,可以用UniformSplit的方式进行,它是按照原始byte值(从0x00~0xFF)右边以00填充。以这种方式分区的表在插入的时候需要对rowkey进行一个技巧性的改造, 比如原来的rowkey为rawStr,则需要对其取hashCode,然后进行按照比特位反转后放在最初rowkey串的前面。可以充分利用Bytes这个工具类来做。 public ...
分类:其他好文   时间:2014-11-05 13:05:28    阅读次数:278
日志收集系统简介
基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。 使用Hadoop中的HDFS作为原始数据的存储,Flume作为数据的实时采集、转换等功能。 HBase作为数据的存储数据库,查询页面的数据都从这个分布式数据库中的一个表中获 取,根据应用程序的业务不同,查询不同的HBase表。实现了下面几大功能:     1 数据采集、转换和存储。正如上面介绍...
分类:其他好文   时间:2014-11-05 10:55:34    阅读次数:182
【甘道夫】通过bulk load将HDFS上的数据导入HBase
引言 通过bulkload将HDFS上的数据装载进HBase是常用的入门级HBase技能,下面简单记录下关键步骤。 bulkload的详细情况请参见官网文档。 过程 第一步:每台机器执行 ln -s $HBASE_HOME/conf/hbase-site.xml $HADOOP_HOME/etc/hadoop/hbase-site.xml...
分类:其他好文   时间:2014-11-04 19:48:20    阅读次数:283
Spark 1.1.0 安装测试 (分布式 Yarn-cluster模式)
Spark版本:spark-1.1.0-bin-hadoop2.4 (下载:http://spark.apache.org/downloads.html)服务器环境的情况,请参考上篇博文hbase centOS生产环境配置笔记(hbase-r是ResourceManager; hbase-1, hb...
分类:其他好文   时间:2014-11-03 16:19:44    阅读次数:288
深入理解HBase
思考:HBase服务器内部由那些主要部件构成? HBase的内部工作原理是什么? 1.????HBase的工作原理: 首先HBase Client端会连接Zookeeper Qurom(从下面的代码也能看出来,例 如:HBASE_CONFIG.set(“hbase.zoo...
分类:其他好文   时间:2014-11-03 14:44:08    阅读次数:253
NOSQL选取
吞吐量,延迟,这是一对矛盾,吞吐量越大,延迟越低,性能越好。==================================================================总结:HBase 适合各种场景。Cassandra并发插入10W条数据就不动了,适合读写分离的场景,写入场景...
分类:数据库   时间:2014-11-03 14:24:47    阅读次数:217
hbse问题总结
hbase使用过程中出现的错误总结。
分类:其他好文   时间:2014-11-02 19:29:08    阅读次数:356
【Hadoop学习】Apache HBase项目简介
原创声明:转载请注明作者和原始链接 http://www.cnblogs.com/zhangningbo/p/4068957.html 英文原版:http://hbase.apache.org/ Apache HBaseTM ,即Hadoop 数据库,是一个分布式的、可缩放的大数据存储方案。何时使....
分类:Web程序   时间:2014-11-02 13:39:31    阅读次数:213
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!