hadoop是有apache基金会所开发的分布式系统基础架构,其主要提供了两方面的功能:分布式存储和分布式计算。其中分布式存储是分布式计算的基础,在hadoop的实现里面,提供了分布式存储的接口,并自己实现了一个分布式存储的实现即HDFS,但并不代表hadoop只支持HDFS这一中实现,其同时支持别的存储系统,并在别的存储系统上运行分布式计算程序(mapreduce)。 从开发角度来说,h...
分类:
其他好文 时间:
2014-11-11 09:22:37
阅读次数:
239
hbase rowkey 设计(三维有序)看这篇文章,你首先要了解hbase的基本存储模型,不懂的可以看我的文章,有做特别的说明。今天难得有时间,写博文,特地总结下一直想写hbase的实践经验,在用hbase的过程中,我们都知道,rowkey设计的好坏,是我们能最大发挥hbase的架构优势,也是我们...
分类:
其他好文 时间:
2014-11-10 17:09:41
阅读次数:
186
HBase提供了备份的API,直接使用shell脚本调用就可以啦。具体命令如下:
hbase org.apache.hadoop.hbase.mapreduce.Export 'user' /hbase_backup_set/20141110/user
hbase org.apache.hadoop.hbase.mapreduce.Import 'user' /hbase_backup_set...
分类:
其他好文 时间:
2014-11-10 15:34:23
阅读次数:
163
ubuntu14.04,eclipse下操作hbase。下面是一个利用hbase java api操作hbase,查看hbase中表student1列族情况的example:
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseCo...
分类:
系统相关 时间:
2014-11-10 15:33:33
阅读次数:
182
基于Solr的HBase多条件查询——转载:背景:某电信项目中采用HBase来存储用户终端明细数据,供前台页面即时查询。HBase无可置疑拥有其优势,但其本身只对rowkey支持毫秒级的快速检索,对于多字段的组合查询却无能为力。针对HBase的多条件查询也有多种方案,但是这些方案要么太复杂,要么效率...
分类:
其他好文 时间:
2014-11-09 11:03:19
阅读次数:
468
通过命令行也可以调用,然后java中调用命令行代码也可以;这样没有和java代码逻辑无缝集成。本文说明kettle5.1中如果通过其他API和java代码无缝集成;网上大多数资料都是低版本的,在kettle5.x中已经不能运行。...
分类:
编程语言 时间:
2014-11-07 07:33:27
阅读次数:
239
windows下开发HBase应用程序,HBase部署在linux环境中,
在运行调试时可能会出现无法找到主机,类似异常信息如下:
java.net.UnknownHostException: unknown host: master
解决办法如下:
在C:\WINDOWS\system32\drivers\etc\hosts文件中添加如下信息:
192.0.0.1 ma...
分类:
编程语言 时间:
2014-11-06 17:46:33
阅读次数:
187