码迷,mamicode.com
首页 > 其他好文 > 详细

HBase最佳实践-CMS GC调优(从gc本身参数调优)

时间:2019-04-02 23:59:59      阅读:320      评论:0      收藏:0      [点我收藏+]

标签:方向   系统   发展   cache   操作   路径   参数调优   etc   heap   

同志们,此部分,重要的不能再重要了
1、HBase发展到当下,对其进行的各种优化从未停止,而GC优化更是其中的重中之重。
hbase gc调优方向
从0.94版本提出MemStoreLAB策略、Memstore Chuck Pool策略对写缓存Memstore进行优化开始,到0.96版本提出BucketCache以及堆外内存方案对读缓存BlockCache进行优化,再到后续2.0版本宣称会引入更多堆外内存,可见HBase会将堆外内存的使用作为优化GC的一个战略方向。

然而无论引入多少堆外内存,都无法避免读写全路径使用JVM内存,就拿BucketCache中offheap模式来讲,即使HBase数据块是缓存在堆外内存的,但是在读取的时候还是会首先将堆外内存中的block加载到JVM内存中,再返回给用户。
这句话的理解在:http://hbasefly.com/2016/04/26/hbase-blockcache-2/
//提到了
BucketCache工作模式 //
比如,内存分配时heap模式需要首先从操作系统分配内存再拷贝到JVM heap,相比offheap直接从操作系统分配内存更耗时;但是反过来,读取缓存时heap模式可以从JVM heap中直接读取,而offheap模式则需要首先从操作系统拷贝到JVM heap再读取,显得后者更费时。

可见,无论使用多少堆外内存,对JVM内存的使用终究是绕不过去,既然绕不过去,就还是需要落脚于GC本身,对GC本身进行优化。

参考链接:
http://hbasefly.com/2016/08/09/hbase-cms-gc/

HBase最佳实践-CMS GC调优(从gc本身参数调优)

标签:方向   系统   发展   cache   操作   路径   参数调优   etc   heap   

原文地址:https://blog.51cto.com/12445535/2373230

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!