2.1. 切换到源代码目录,执行:mvn install -DskipTests -Dhttp.proxyHost=proxy01.cd.intel.com -Dhttp.proxyPort=911黄色部分作用为设置代理。由于本人的编译环境在公司内网,所以需要设置代理2.2. 生成eclipse项目...
分类:
系统相关 时间:
2014-06-30 23:05:53
阅读次数:
274
这边文章先将可能的需求分析一下,设计出HBase表,下一步再开始编写客户端代码。
TwiBase系统
1、背景
为了加深HBase基本概念的学习,参考HBase实战这本书实际动手做了这个例子。
2、需求
这是一个用户推特系统,用户登陆到系统,需要维护用户的基本信息,然后用户可以发帖和其他用户进行互动。用户之间可以相互关注,用户可以浏览关注用户的推文等等。
这是一个比...
分类:
其他好文 时间:
2014-06-30 16:32:58
阅读次数:
233
使用sqoop-1.4.4.bin__hadoop-2.0.4-alpha将Oracle11g数据导入HBase0.96...
分类:
数据库 时间:
2014-06-30 08:21:16
阅读次数:
356
这篇文章是看了HBase权威指南之后,根据上面的讲解搬下来的例子,这篇文章将讲解两个例子,和HBase权威指南稍微有些不一样。
1、读取存储在hdfs上的txt文本数据,简单地以json字符串的形式写入到HBase表中。
2、将第一步存储的HBase表中的json字符串读取出来,解析存储到新的HBase表中,可以进行查询。
本文详细给出了源码以及如何运行,旨在加深HBase与mapreduc...
分类:
其他好文 时间:
2014-06-29 23:21:21
阅读次数:
340
packagecom.yuhui.gd.hadoop.hbase;importjava.util.Iterator;importjava.util.Map;importjava.util.Map.Entry;importjava.util.NavigableMap;importjava.util.Set;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.ap..
分类:
编程语言 时间:
2014-06-29 21:09:00
阅读次数:
453
一. 介绍 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的.....
分类:
其他好文 时间:
2014-06-29 19:20:17
阅读次数:
252
phoenix——提供hbase的sql操作的框架2014年01月06日?hadoop及周边,hbase? 共 364字 ? 字号小中大?1条评论? 阅读 1,522 views 次是什么?hbase提供了海量数据的毫秒级查询。可见,hbase是个非常好的实时查询框架,缺点就是查询功能非常薄弱,仅限...
分类:
数据库 时间:
2014-06-28 10:01:50
阅读次数:
395
HBase是依赖Hadoop的数据存储系统,可以实现大数据(过亿条记录)的存储,进行并行化处理。在特定的场景下HBase有自己的用武之地。下面讲述如何进行伪分布模式安装1.设置环境变量我使用的HBase版本是hbase-0.94.7-security.tar.gz,安装在机器hadoop0的/usr...
分类:
其他好文 时间:
2014-06-28 09:46:59
阅读次数:
266
由于Hadoop还处于初期高速发展的节点,加上它又是开源的,因此它的版本一直很混乱,Hadoop一些主要的特性有:
Append:支持文件追加功能,如果想使用HBase,需要这个特性。
RAID : 在保证数据可靠的前提下,通过引入校验码减少数据块数目。详细链接:https://issues.apache.org/jira/browse/HDFS/component/12313080
...
分类:
其他好文 时间:
2014-06-27 10:32:09
阅读次数:
272