这一章讲hbase的缓存机制，这里面涉及的内容也是比较多，呵呵，我理解中的缓存是保存在内存中的特定的便于检索的数据结构就是缓存。之前在讲put的时候，put是被添加到Store里面，这个Store是个接口，实现是在HStore里面，MemStore其实是它底下的小子。那它和Region
Server...
分类：
其他好文 时间：
2014-05-27 00:16:07
阅读次数：
376
因为需要统计hbase中某个特定列不为空的行数，我寻思有没有支持直接用SQL查询的，查找了下，发现有两个可以支持：一个是apache
phoenix，一个是Cloudera的Impala。如果用Impala，需要使用Cloudera的hadoop发行版。
分类：
数据库 时间：
2014-05-26 22:02:35
阅读次数：
322
一、使用Sqoop将MySQL中的数据导入到HDFS/Hive/HBase
二、使用Sqoop将HDFS/Hive/HBase中的数据导出到MySQL
2.3 HBase中的数据导出到mysql
目前没有直接的命令将HBase中的数据导出到MySQL，但可以先将HBase中的数据导出到HDFS中，再将数据导出到MySQL。
三、使用Sqoop将Orac...
分类：
数据库 时间：
2014-05-26 05:48:46
阅读次数：
304
--MySQL数据库IO问题----------------------2014/05/25
看http://www.mysqlperformanceblog.com 的时候，发现Percona Server已经发布到
5.1.58了，其中有一个重大的性能改进在flush 日志文件和doublew....
分类：
数据库 时间：
2014-05-25 22:05:24
阅读次数：
359
先上一张图讲一下Compaction和Split的关系，这样会比较直观一些。Compaction把多个MemStore
flush出来的StoreFile合并成一个文件，而Split则是把过大的文件Split成两个。之前在Delete的时候，我们知道它其实并没有真正删除数据的，那总不能一直不删吧，下...
分类：
其他好文 时间：
2014-05-25 18:41:37
阅读次数：
415
如今Bigtable型(列族)数据库应用越来越广，功能也很强大。但是很多人还是把它当做关系型数据库在使用，用原来关系型数据库的思维建表、存储、查询。本文以hbase举例讲述数据模式的变化。
传统关系型数据库(mysql，oracle)数据存储方式主要如下：
图一
上图是个很典型的数据储存方式，我把每条记录分成3部分:主键、记录属性、索引字段。我们会对索引字段建立索引，达到二级索引...
分类：
数据库 时间：
2014-05-23 00:19:11
阅读次数：
301
继上一篇讲了Put和Delete之后，这一篇我们讲Get和Scan,
因为我发现这两个操作几乎是一样的过程，就像之前的Put和Delete一样，上一篇我本来只打算写Put的，结果发现Delete也可以走这个过程，所以就一起写了。Get我们打开HRegionServer找到get方法。Get的方法处理...
分类：
其他好文 时间：
2014-05-21 17:58:53
阅读次数：
344
代志远早年就职网易研究院从事MapReduce与DFS系统的自主研发，后加入支付宝数据平台负责Hadoop与HBase体系的架构设计与二次研发，支付宝流计算与分布式搜索系统的设计和研发，后成为支付宝海量计算体系架构师兼支付宝三代架构成员。现就转战于阿里巴巴集团-CDO-海量数据部门，负责创新性项目的研究和跟进，目前专注于Google第二代数据库产品MegaStore的研究和在阿里的落地。
在...
分类：
数据库 时间：
2014-05-21 17:04:40
阅读次数：
393
ibm存储适用，其他存储有类似参数。 1、调整全局cache参数1、1 start and stop cache flush：这两个参数影响控制器处理cache区域的操作，在这中情况下是按照先进先出的原则往磁盘上写数据。这只对打开了写cache的情况下适用。 在一般的情况下，在决大多数时候start的值大于stop的值。但是也有少量的情况下start等于stop的值。如start＝stop＝80%...
分类：
其他好文 时间：
2014-05-21 13:27:28
阅读次数：
218
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase,
Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie,
Cassandra, Hama, Whirr,...
分类：
其他好文 时间：
2014-05-21 05:55:45
阅读次数：
280
