phoenix——提供hbase的sql操作的框架2014年01月06日?hadoop及周边,hbase? 共 364字 ? 字号小中大?1条评论? 阅读 1,522 views 次是什么?hbase提供了海量数据的毫秒级查询。可见,hbase是个非常好的实时查询框架,缺点就是查询功能非常薄弱,仅限...
分类:
数据库 时间:
2014-06-28 10:01:50
阅读次数:
395
HBase是依赖Hadoop的数据存储系统,可以实现大数据(过亿条记录)的存储,进行并行化处理。在特定的场景下HBase有自己的用武之地。下面讲述如何进行伪分布模式安装1.设置环境变量我使用的HBase版本是hbase-0.94.7-security.tar.gz,安装在机器hadoop0的/usr...
分类:
其他好文 时间:
2014-06-28 09:46:59
阅读次数:
266
选择传智播客九大理由:
1 有实力不怕炫,我们就爱那个是出书出开源项目
2 引领新技术,让我们学员走在别人最前面,首家推出Hadoop,Unity3D,Nginx。
3 课程知识面广,技术讲解深入易懂,让我们学员不仅会做,还能明白其中原理。
4 培养学员自己解决问题的能力,拒绝成为“只会点击控件”的工具使用者。
5 终结“行尸走肉”的生活,带您走上“积极向上,充满理想”的人生道路。
6...
分类:
其他好文 时间:
2014-06-28 09:02:34
阅读次数:
202
引言
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件...
分类:
其他好文 时间:
2014-06-28 07:48:49
阅读次数:
253
问题描述:1 当hbase自己运行时,没有问题,可以正常启动2 当搭建完hadoop环境后,再启动报异常:Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/util/HBaseConf...
分类:
其他好文 时间:
2014-06-27 14:59:21
阅读次数:
268
书籍学习——董西成《Hadoop技术内幕 深入解析HADOOP COMMON和HDFS架构设计与实现原理》HDFS 高容错,高伸缩性Lucene是引擎开发包,提供了一个纯java的高性能全文检索,可方便的嵌入到各种应用中实现全文搜索/索引功能。Nutch是以Lucene为基础实现的搜索引擎应用,Lu...
分类:
其他好文 时间:
2014-06-27 12:15:57
阅读次数:
221
由于Hadoop还处于初期高速发展的节点,加上它又是开源的,因此它的版本一直很混乱,Hadoop一些主要的特性有:
Append:支持文件追加功能,如果想使用HBase,需要这个特性。
RAID : 在保证数据可靠的前提下,通过引入校验码减少数据块数目。详细链接:https://issues.apache.org/jira/browse/HDFS/component/12313080
...
分类:
其他好文 时间:
2014-06-27 10:32:09
阅读次数:
272
package com.leaf.hadoop.second;
import java.util.Random;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hado...
分类:
其他好文 时间:
2014-06-27 10:00:17
阅读次数:
294
过去十年,数据处理领域发生了很大的变化,可以认为是发生了一次革命。MapReduce、Hadoop以及其他相关技术使得在存储和处理我们以前无法想象的大规模数据方面成为可能。然后不幸的是,这些数据处理技术并不是实时系统,而且他们命中注定也不是。无法将Hadoop转换成实时系统,因为实时数据处理和批处理在要求上有本质的不同。
然后,大规模地实时数据处理需求在商业应用上已经越来越迫切。数据处理生态中缺少”实时Hadoop“(即类似于Hadoop在批处理领域的通用解决方案)已经成为一个最大的遗憾。Storm弥补了...
分类:
其他好文 时间:
2014-06-27 09:04:04
阅读次数:
184