1、常用的压缩算法 1）snappy是Google的一个快速压缩和解压数据的库，使用C++编写。它的目标不是最大限度的压缩，也不是与其它压缩库兼容。snappy旨在提供非常高的压缩速度和合理的压缩率。64位模式下，使用单个Core i7处理器内核，压缩和解压速度可分别达到250MB/s和500...
分类：
其他好文 时间：
2014-11-20 00:01:23
阅读次数：
374
本次是第一次在生产环境部署HBase，本文若有配置上的不妥之处还请高手指正。hadoop版本：hadoop-2.4.1HBase版本：hbase-0.98.6.1-hadoop2JDK：1.6操作系统：centOS6.3 64bit1. 安装snappy#yum install snappyInst...
分类：
其他好文 时间：
2014-10-28 17:00:52
阅读次数：
719
最近更新了spark到1.1.0版本。跑任务出错。 Caused by: java.lang.UnsatisfiedLinkError: /tmp/snappy-1.0.5.3-6ceb7982-8940-431c-95a8-25b3684fa0be-libsnappyjava.so: /usr/lib64 ? ? /libstdc++.so.6: ver...
分类：
移动开发 时间：
2014-09-17 13:45:02
阅读次数：
410
hadoop 2.2.0 和hbase 0.98 安装snappy压缩教程...
分类：
移动开发 时间：
2014-08-07 15:45:00
阅读次数：
463
编译源代码 http://www.cnblogs.com/chengxin1982/p/3862289.html测试参考 http://blog.jeoygin.org/2012/03/java-compression-library-test.html1 snappy参考地址http://sstu...
分类：
移动开发 时间：
2014-07-23 12:18:36
阅读次数：
293
常见的压缩有：对中间结果压缩、对输出结果压缩。压缩对比：算法压缩前/压缩后压缩速度解压速度GZIP13.4%21MB/s118 MB/sLZO20.5%135 MB/s410 MB/sSnappy22.2%172 MB/s409 MB/sSnappy介绍：Snappy 网站：http://code....
分类：
其他好文 时间：
2014-07-18 16:12:24
阅读次数：
352
刚接触一些Apache Kafka的内容，用了两天时间研究了一下，仅以此文做相关记录，以供学习交流。概念:kafka依赖的项：1.硬件上，kafka利用线性存储来进行硬盘直接读写。2.kafka没有使用内存作为缓存。3.用zero-copy。4.Gzip和Snappy压缩，5.kafka对事务处理比...
分类：
其他好文 时间：
2014-06-20 18:18:45
阅读次数：
329
