集群建备份，它是master/slaves结构式的备份，由master推送，这样更容易跟踪现在备份到哪里了，况且region server是都有自己的WAL
和HLog日志，它就像mysql的主从备份结构一样，只有一个日志来跟踪。一个master集群可以向多个slave集群推送，收到推送的集群会.....
分类：
其他好文 时间：
2014-05-06 01:15:23
阅读次数：
458
在上一章中提到了编码压缩，讲了一个简单的DataBlockEncoding.PREFIX算法，它用的是前序编码压缩的算法，它搜索到时候，是全扫描的方式搜索的，如此一来，搜索效率实在是不敢恭维，所以在hbase当中单独拿了一个工程出来实现了Trie的数据结果，既达到了压缩编码的效果，亦达到了方便查询的...
分类：
其他好文 时间：
2014-05-05 23:30:15
阅读次数：
434
使用hbase的目的是为了海量数据的随机读写，但是在实际使用中却发现针对随机读的优化和gc是一个很大的问题，而且hbase的数据是存储在Hdfs，而Hdfs是面向流失数据访问进行设计的，就难免带来效率的下降。下面介绍一下Facebook
Message系统在HBase online storage场...
分类：
其他好文 时间：
2014-05-04 11:08:29
阅读次数：
337
前段时间有一个业务需求，要在外网商品（TOPB2C）信息中加入联营自营识别的字段。但存在的一个问题是，商品信息和自营联营标示数据是两份数据；商品信息较大，是存放在hbase中。他们之前唯一的关联是url。所以考虑用url做key将两者做join，将联营自营标识信息加入的商品信息中，最终生成我需要的数...
分类：
其他好文 时间：
2014-05-04 10:02:22
阅读次数：
565
能够将热爱的技术应用于实际生活生产中，是做技术人员向往和乐之不疲的事。
现将前期手里面的一个项目做一个大致的总结，与大家一起分享、交流、进步。项目现在正在线上运行，项目名——基于Hadoop的数据分析综合管理平台。
项目流程整体比较清晰，爬取数据（txt文本）-->数据清洗-->文本模型训练-->文本分类-...
分类：
其他好文 时间：
2014-05-04 00:22:05
阅读次数：
476
Hadoop2.3.0+Hbase0.96.1.1+Hive0.14.0+Zookeeper3.4.6+Sqoop1.99.3安装配置流程
一、 配置Hadoop
源码包：hadoop-2.3.0-src.tar.gz
1. 安装以下软件：
yum -yinstall lzo-devel zlib-devel gcc autoconf automake li...
分类：
其他好文 时间：
2014-04-29 13:37:20
阅读次数：
541
HBase是Hadoop的数据库，基于Hadoop运行，是一种NoSQL数据库。
特点：分布式、多版本、面向列的存储模型，能够大规模的数据实时随机读写，可直接使用本地文件系统。
不适合：与关系型数据库相比，模型简单，API很少；不适合小规模的数据。
数据存放的位置叫做单元(cell)，其中的数据可以有多个版本，根据时间戳(timestamp)来区别。
安装：
tar xfz hbase-...
分类：
其他好文 时间：
2014-04-29 13:27:22
阅读次数：
403
FAILED: Error in metadata: java.lang.RuntimeException: MetaException(message:org.apache.hadoop.hive.serde2.SerDeException org.apache.hadoop.hive.hbase.HBaseSerDe: columns has 3 elements while hbase.columns.mapping has 4 elements (counting the key if implic...
分类：
其他好文 时间：
2014-04-29 13:17:21
阅读次数：
387
Java Client API Overview
HBase是用Java写的，支持用编程语言来动态操作管理数据库，能用命令行做的都可以用API来做。
基本的使用过程如下：
1.创建一个 Configuration 对象
–从 HDFS 对象中调用 Configuration
–添加 HBase 属性
Configuration conf = HbaseConfiguration....
分类：
编程语言 时间：
2014-04-29 13:12:21
阅读次数：
410
本文将基于hbase 0.98.1讲解其在linux集群上的安装方法，并对一些重要的设置项进行解释，本文原文链接：，转载请注明出处！1. 安装与配置1.1. 前置条件确保已经安装了hadoop并保证hadoop运行正常。关于hbase与hadoop的版本依赖关系，请参考: https://hbase.apache.org/book/configuration.html#hadoop 关于java...
分类：
其他好文 时间：
2014-04-27 21:33:59
阅读次数：
462
