在《HBase源代码分析之MemStore的flush发起时机、推断条件等详情》一文中,我们具体介绍了MemStore flush的发起时机、推断条件等详情。主要是两类操作。一是会引起MemStore数据大小变化的Put、Delete、Append、Increment等操作,二是会引起HRegion ...
分类:
其他好文 时间:
2017-08-02 22:13:53
阅读次数:
193
首先续上篇测试: 经过上一篇文章中对代码及参数的修改,Hbase的写入性能在不开Hlog的情况下从3~4万提高到了11万左右。 本篇主要介绍参数调整的方法,在HDFS上加上压缩卡,最后能达到的写入性能为17W行每秒(全部测试都不开Hlog)。 上篇测试内容: 详情 http://blog.csdn. ...
分类:
其他好文 时间:
2017-07-04 20:25:08
阅读次数:
229
原文链接:http://www.sysnote.org/2016/08/19/ceph-bluestore/ ceph后端支持多种存储引擎,以插件式的方式来进行管理使用,目前支持filestore,kvstore,memstore以及最新的bluestore,目前默认使用的filestore,但是因... ...
分类:
其他好文 时间:
2017-06-30 01:05:00
阅读次数:
387
继上篇《HBase源代码分析之HRegion上MemStore的flsuh流程(一)》之后。我们继续分析下HRegion上MemStore flush的核心方法internalFlushcache()。它的主要流程如图所看到的: 当中。internalFlushcache()方法的代码例如以下: / ...
分类:
其他好文 时间:
2017-06-22 20:49:15
阅读次数:
216
Client写入 -> 存入MemStore,一直到MemStore满 -> Flush成一个StoreFile,直至增长到一定阈值 -> 出发Compact合并操作 -> 多个StoreFile合并成一个StoreFile,同时进行版本合并和数据删除 -> 当StoreFiles Compact后... ...
分类:
其他好文 时间:
2017-06-22 12:14:10
阅读次数:
195
region split流程分析 splitregion的发起主要通过client端调用regionserver.splitRegion或memstore.flsuh时检查并发起。 Client通过rpc调用regionserver的splitRegion方法 client端通过HBaseAdmin ...
分类:
其他好文 时间:
2017-06-04 21:24:01
阅读次数:
235
在hbase中,读业务是非常频繁的。很多操作都是客户端根据meta表定位到具体的regionserver然后再查询region中的具体的数据。但是现在问题来了,一个region由一个memstore以及多个filestore组成,memstore类似缓存在服务器内存中,可以提高插入的效率,当memstore达到一定大小(..
分类:
其他好文 时间:
2017-01-15 11:57:32
阅读次数:
322
Store在HBase里称为HStore。HStore包括MemStore和StoreFiles。 ...
分类:
其他好文 时间:
2016-12-08 09:48:52
阅读次数:
173
http://stackoverflow.com/questions/40067933/hbase-whats-the-difference-between-wal-and-memstore http://www.slideshare.net/caroljmcdonald/h-base-nosqlc ...
分类:
其他好文 时间:
2016-11-07 02:38:39
阅读次数:
149
一、HBase性能调优 1. JVM内存调优 MemStore内存空间,设置合理大小 memstore.flush.size 刷写大小 134217728 = 128M memstore.mslab.enabled preclose.flush.size JVM堆内存 初生代内存空间:数据停留时间较 ...
分类:
其他好文 时间:
2016-08-21 09:43:21
阅读次数:
210