HBase通常安装在Hadoop HDFS上,但也可以安装在其他实现了Hadoop文件接口的分布式文件系统上,如KFS。glusterfs是一个集群文件系统可扩展到几peta-bytes。它集合了各种存储在infiniband rdma或互连成一个大型并行网络文件系统。存储可以由任何商品等硬件x86_64服务器和sata-ii和infiniband HBA。GlusterFS比Hadoop HDFS可以提供更高的性能,HBase也因此可以获得更高的性能。将HBase安装在GlusterFS上,是可行的。该方...
分类:
系统相关 时间:
2014-10-19 23:22:18
阅读次数:
372
两个field,一个是KFC数据 一个列放的内容是“same”每条数据都flushSLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".SLF4J: Defaulting to no-operation (NOP) logge...
分类:
其他好文 时间:
2014-10-19 14:17:30
阅读次数:
304
HBase ShellHBase shell使用起来最方便,进入HBase shell控制台就可以使用。$ $HBASE_HOME/bin/hbase shell常见操作有create(创建表)/put(插入或更新数据)/get(依据rowkey查询)/scan(范围查询)/delete(删除列)/...
分类:
编程语言 时间:
2014-10-18 20:52:22
阅读次数:
241
MemStore简介:上图为HBase的读写过程的大概描述;写请求过程:client---------->WAL(WriteAheadLOG)----------->MemStore------------->HFile--------->END读请求过程:client---------->MemStore-------->BlockCache------->HFile------------>ENDMe..
分类:
其他好文 时间:
2014-10-18 18:32:25
阅读次数:
310
这几天协作实施人员做BI的项目。项目的开发已经接近尾声,后期的工作主要就是定义指标以及定义多维分析模型以及ETL的过程。下面具体把这次的工作总结一下:环境: 系统: ERP,HIS以及其他的子系统-------主要是业务数据以及一些数据字典(SQLServer2005) BI系统---...
分类:
其他好文 时间:
2014-10-17 23:17:55
阅读次数:
859
最近两天给一个项目搭建linux下的大数据处理环境,系统是CentOS 6.3。主要是配置JDK,安装Tomcat,Hadoop、HBase和Zookeeper软件,本人在Hadoop这方面也是新手,配置这个环境遇到过许多问题,查了许多资料,这里做一个总结,以便日后回顾。
首先是账户权限的修改,安装软件环境需要上传文件和一些系统文件的修改权限,所以最好设置成root权限
权限修改方法:http...
分类:
其他好文 时间:
2014-10-17 22:03:55
阅读次数:
225
详细介绍kettle位置参数、命名参数、变量之间的区别及用法...
分类:
其他好文 时间:
2014-10-17 18:56:17
阅读次数:
338
因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。配置优化zookeeper.session.timeout 默认值:3分钟(180000ms) 说明:RegionS...
分类:
其他好文 时间:
2014-10-17 18:30:05
阅读次数:
248
一、基本介绍 1、FilterList代表一个过滤器列表 FilterList.Operator.MUST_PASS_ALL --> 取交集 相当一and操作 FilterList.Operator.MUST_PASS_ONE --> 取并集 相当于or 操...
分类:
其他好文 时间:
2014-10-16 22:31:13
阅读次数:
293
kettle作为ETL工具,其功能日趋完善,已得到广大数据挖掘爱好者的青睐。又因为他是java开源项目,为适应项目需求,有必要研究其源码,最好能够集成到Java项目中,作为项目运行流程的一个重要环节来使用。...
分类:
编程语言 时间:
2014-10-16 20:51:23
阅读次数:
299