久闻 LZ4 大名，很久前就想将之与譬如 ZLib 等压缩算法作作比较了。这篇简单的测试来得晚了些，不过至少（暂时）了却了我的一桩心事。 本来我只计划对 ZLib、LZ4 和 Snappy 等作测试，但这里的 LZ4 HC (r129) 引起了我的极大兴趣，所以也顺便，将 LZ4HC，以及 SynL ...
分类：
编程语言 时间：
2016-09-05 23:27:59
阅读次数：
244
一.Debian系列：Debian、Ubuntu等1.修改apt-get源: vim /etc/apt/sources.list deb http://mirrors.ustc.edu.cn/kali sana main non-free contrib deb http://mirrors.ust ...
分类：
系统相关 时间：
2016-08-10 22:18:48
阅读次数：
400
使用tar+lz4/pigz+ssh更快的数据传输2013-11-8 | 10:41分类：Linux,MySQL | 前面一篇介绍了如何最大限度的榨取SCP的传输速度，有了这个基础，就可以进一步的使用压缩来加速传输速度了。只使用scp，传输速率最快约90MB，本文通过压缩将把最快传输速率提升...
分类：
其他好文 时间：
2015-11-10 01:35:16
阅读次数：
280
快速传输大数据（tar+lz4+pv）时间：2014-12-12 18:29:55 阅读：194 评论：0 收藏：0 [点我收藏+]标签：算法 class style src 使用 com log 文件 数据 如果用传统SC...
分类：
其他好文 时间：
2015-10-28 10:43:27
阅读次数：
377
Zstandard（缩写为Zstd）是一种新的无损压缩算法，旨在提供快速压缩，并实现高压缩比。它既不像LZMA和ZPAQ那样追求尽可能高的压缩比，也不像LZ4那样追求极致的压缩速度。 下面是一组基准测试数据： ? 压缩算法名...
分类：
编程语言 时间：
2015-10-10 00:30:22
阅读次数：
327
LZ4使用make / make clean得到可执行程序：lz4、lz4cUsage: ./lz4 [arg] [input] [output]input : a filenameArguments :-1 : Fast compression (default)-9: High compress...
分类：
编程语言 时间：
2015-09-30 01:01:15
阅读次数：
293
一、压缩（1.1）使用gzip进行打包：# time tar -zcf tar1.tar binlog*real0m48.497suser0m38.371ssys0m2.571s（1.2）使用pigz压缩，同时设置最高压缩速度(-1)# time tar -cv binlog* | pigz -1 ...
分类：
其他好文 时间：
2015-09-30 00:50:23
阅读次数：
245
一、压缩
（1.1）使用gzip进行打包：
# time tar -zcf tar1.tar binlog*
real 0m48.497s
user 0m38.371s
sys 0m2.571s
（1.2）使用pigz压缩，同时设置最高压缩速度(-1)
# time tar -cv binlog* | pigz -1 -p 24 -k >pigz1.tar.gz
real 0m...
分类：
其他好文 时间：
2015-07-09 16:19:22
阅读次数：
2701
常见数据压缩算法压缩文件压缩主要有两个好处，一是减少了存储文件所占空间，另一个就是为数据传输提速。在hadoop大数据的背景下，这两点尤为重要，那么我现在就先来了解下hadoop中的文件压缩。hadoop里支持很多种压缩格式，我们看一个表格：
LZO和LZ4算法已经不在Hadoop1.x中使用了。1、DEFLATE是同时使用了LZ77与哈夫曼编码的一个无损数据压缩算法，
源代码可以在zlib...
分类：
编程语言 时间：
2015-06-05 21:17:42
阅读次数：
354
快速传输大数据（tar+lz4+pv）如果用传统SCP远程拷贝，速度是比较慢的。现在采用lz4压缩传输。LZ4是一个非常快的无损压缩算法，压缩速度在单核300MB/S，可扩展支持多核CPU。它还具有一个非常快速的解码器，速度单核可达到和超越1GB/S。通常能够达到多核系统上的RAM速度限制。你PV ...
分类：
其他好文 时间：
2015-05-28 23:05:55
阅读次数：
793
