同事在研究LZ4 压缩算法时候给我发来了一段代码，看完了顿时表示非常震惊：static const int[] MultiplyDeBruijnBitPosition = new int[32]{ 0, 1, 28, 2, 29, 14, 24, 3, 30, 22, 20, 15, 25,...
分类：
其他好文 时间：
2015-03-30 18:03:30
阅读次数：
207
导出:mydumper-uxxxxx-pxxxxx-Bdbname-t8-o/backup_path-K如果是导出到远程的备份机器，执行如下命令mydumper-uxxxxx-pxxxxx-Bdbname-t8-o/backup_path-Ktarzc/backup_path|pv|lz4-B4|sshroot@192.168.10.250"lz4-d|tar-zxC/dst_path"
分类：
数据库 时间：
2015-03-19 16:41:32
阅读次数：
715
如果用传统SCP远程拷贝，速度是比较慢的。现在采用lz4压缩传输。LZ4是一个非常快的无损压缩算法，压缩速度在单核300MB/S，可扩展支持多核CPU。它还具有一个非常快速的解码器，速度单核可达到和超越1GB/S。通常能够达到多核系统上的RAM速度限制。你PV 全命为Pipe Viewer，利用它我...
分类：
其他好文 时间：
2014-12-12 18:32:38
阅读次数：
191
Solr4.8.0源码分析(12)之Lucene的索引文件(5)1. 存储域数据文件(.fdt和.fdx) Solr4.8.0里面使用的fdt和fdx的格式是lucene4.1的。为了提升压缩比，StoredFieldsFormat以16KB为单位对文档进行压缩，使用的压缩算法是LZ4，由于它...
分类：
Web程序 时间：
2014-10-20 23:06:39
阅读次数：
368
需要临时为mysql添加一个实例，使用xtrabackup最简单快速。
在现有数据节点上：
/home/work/app/xtrabackup-2.2.3/innobackupex --ibbackup=/home/work/app/xtrabackup-2.2.3/xtrabackup --parallel=8 --defaults-file= ${BACKUP_CNF} --s...
分类：
数据库 时间：
2014-09-01 21:12:13
阅读次数：
512
LZ4算法又称为RealtimeCompressionAlgorithm，在操作系统(linux/freeBSD)、文件系统(OpenZFS)、大数据(Hadoop)、搜索引擎(Lucene/solr)、数据库(Hbase)……都可以看到它的身影，可以说是一个非常通用的算法。LZ4最突出的地方在于它的压缩/解压速度。基础知识理解Lucene中LZ4算..
分类：
其他好文 时间：
2014-07-29 15:24:30
阅读次数：
483
在网络网络传输过程中，最关心的就是传输效率问题。而提高传输效率最有效的方法就是对传输的数据进行压缩。但压缩数据也要耗费一定的时间，是不是压缩后一定能提高效率呢？该如何选择合适的压缩算法呢？请看本文的具体分析。...
分类：
其他好文 时间：
2014-07-26 02:25:16
阅读次数：
363
