HBase使用压缩存储（snappy）

标签：

在将mysql数据导入到hbase数据的过程中，发现hbase的数据容量增加很快，

原本在mysql存储30G容量的数据导入到hbase一直增加到快150G（还未完全导入，手动结束），

而采用默认3个备份储存的话，基本上真个集群有450G的容量。

查看了一些资料，发现hbase的储存确实耗空间，一般hbase采用压缩算法来解决，其中snappy

的算法收到Google的推崇，而且CDH中，直接安装了snappy的库，所以直接用了。

hbase> disable ‘test‘
hbase> alter ‘test‘, {NAME => ‘cf‘, COMPRESSION => ‘SNAPPY‘}
hbase> enable ‘test‘

使用后，没有立即生效，按照一些资料执行major_compact命令后，也没有发现生效，
但是过了一段时间以后发现表的容量变化了，压缩前原本150G，压缩后15G左右（查资料压缩率最好效果22%左右，这个还没有大量测试）
效果还比较明显。

HBase使用压缩存储（snappy）

标签：

原文地址：http://www.cnblogs.com/tyoyi/p/4538830.html